MerQuR+Başvuru Kitabı

39. Kullanıcı tanımlı olabilirlikle ML kestirimi

Şablon kimliği: ozel_olabilirlik · Kategori: model · Dil: Python · Dosya: pro/sablonlar/model/ozel_olabilirlik.py (satır 1–269; üstbilgi 1–67) · Örnek veri: _ornek/bekleme_suresi.csv · Paketler: scipy 1.16.3 (optimize.minimize, optimize.brentq, stats), numpy, pandas, matplotlib

39.1 Ne işe yarar

Şablon, tek değişkenli bir verinin seçilen dağılıma ait parametrelerini en çok olabilirlik (ML) yöntemiyle kestirir ve iki tür güven aralığı verir. Cevapladığı soru şudur: "Veri bu dağılımdan geliyorsa parametreleri nedir ve ne kadar belirsizdir?" Kestirim, log-olabilirliğin sayısal olarak en büyüklenmesidir:

\hat{\boldsymbol\theta}=\arg\max_{\boldsymbol\theta}\ \ell(\boldsymbol\theta),\qquad \ell(\boldsymbol\theta)=\sum_{i=1}^{n}\ln f(x_i;\boldsymbol\theta)
  • f(x;\boldsymbol\theta): seçilen dağılımın yoğunluğu; \boldsymbol\theta: bir ya da iki parametre.
  • \ell: log-olabilirlik. Yoğunlukların çarpımı yerine logaritmalarının toplamı kullanılır; en büyükleyen nokta aynıdır, sayısal hesap kararlıdır.
  • Şablon türev istemez: \ell yalnız bir fonksiyon olarak verilir, en büyükleme, standart hatalar ve güven aralıkları sayısal yöntemlerle bulunur. Bu yüzden kod içindeki log-olabilirlik başka bir modelle değiştirilebilir.

Şablonun adındaki "kullanıcı tanımlı" bu son noktaya işaret eder. Form yedi hazır dağılım sunar; şablonun asıl işlevi ise bir çatı olmasıdır: Kod sekmesinde MODELLER sözlüğüne yeni bir log-olabilirlik yazıldığında (39.5) en büyükleme, Hessian'dan standart hata, Wald ve profil olabilirlik aralıkları, AIC ve BIC hazır gelir.

Ne zaman kullanılır? Tek bir dağılımın parametreleri ve güven aralıkları gerektiğinde; Wald aralığının yetersiz kaldığı durumlarda (küçük örneklem, çarpık olabilirlik) profil olabilirlik aralığı istendiğinde; hazır bir analizi olmayan bir model için (kesilmiş dağılım, iki bileşenli karışım, sıfır şişirilmiş sürekli dağılım) kendi olabilirliğini yazıp ML çıkarımı yapmak isteyen kullanıcı için başlangıç noktası olarak.

Ne zaman kullanılmaz?

  • Birden çok aday dağılım karşılaştırılacaksa, moment/kantil kestirimi, sansürlü veri ya da kantillerin bootstrap aralığı gerekiyorsa: dagilim_uydurma şablonu (Bölüm 32).
  • Dağılımın ortalaması açıklayıcı değişkenlere bağlıysa: temel programdaki Doğrusal Regresyon, Gamma / Ters Gauss / Tweedie GLM ya da süre verisinde Parametrik Sağkalım (AFT).
  • Yalnız normallik sınanacaksa: temel programdaki Normallik Testleri.
  • Olabilirlik çok parametreli ve hiyerarşikse ya da önsel bilgi katılacaksa: mcmc_ozel_model şablonu.
  • Güven aralığı için olabilirliğe dayanmayan bir yol isteniyorsa: bootstrap_ozel şablonu.

Temel programla ilişki. Temel programda dağılım parametrelerini ML ile kestirip profil olabilirlik aralığı veren bir analiz yoktur. Sabit terimden başka terimi olmayan bir Gamma GLM ya da Parametrik Sağkalım (AFT) modeli aynı gama ya da Weibull dağılımını uydurur, ama başka bir parametreleştirmeyle (ortalama ve yayılım; log-ölçek ve biçim) ve Wald aralıklarıyla.

39.2 Şablonun girdileri

Form sekiz [[param]] bloğundan kurulur (ozel_olabilirlik.py:10–66).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Değişken · hedef sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun x; sayıya çevrilir, eksikler atılır (79).
Dağılım · dagilim seçim · Model gamma normal, lognormal, gamma, weibull, ustel, lojistik, gumbel MODELLER sözlüğünden model seçimi (84, 112).
Güven düzeyi · guven ondalık · Seçenekler 0,95 0,5–0,999 Wald kantili ve profil eşiği (193–195).
Optimizasyon yöntemi · cozucu seçim · Gelişmiş Nelder-Mead Nelder-Mead, BFGS, L-BFGS-B, Powell minimize(method = …), iki aşama (105, 126–135).
En çok yineleme (her aşama) · en_cok_yineleme tamsayı · Gelişmiş 20000 100–1000000 maxiter (106).
Sayısal Hessian göreli adımı · hessian_adim ondalık · Gelişmiş 0,0001 0,0000001–0,1 h_j=\text{adım}\times\max(\lvert\theta_j\rvert;\ 0{,}001) (107, 109, 143).
Profil olabilirlik GA'larını hesapla · profil_ga onay · Seçenekler açık açık / kapalı Kapalıysa profil sütunları boş (110, 232).
Kolmogorov-Smirnov uyum testi · ks_testi onay · Seçenekler açık açık / kapalı KS satırı (111, 252–255).

Örnek ayar (satır 9): hedef = bekleme_suresi, dagilim = gamma; öteki alanlar varsayılandadır. Güven düzeyi bu şablonda oran olarak girilir (0,95).

Şablonun kendi denetimleri.

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 77–78
Sayıya çevrilebilen gözlem 5'ten az "En az 5 gözlem gerekli." 80–81
Değişken sabit "Değişken sabit." 82–83
Pozitif destekli dağılım seçili ve sıfır ya da negatif değer var "Bu dağılım yalnız pozitif değerler için tanımlı; sıfır ya da negatif değer var." 85–87
En küçükleme sonlu bir değer bulamadı "En çok olabilirlik kestirimi bulunamadı." 136–137

Eksik değer ve sayıya çevrilemeyen hücreler atılır (satır 79). Pozitiflik denetimi normal, lojistik ve Gumbel dışındaki dört dağılıma uygulanır. Şablon en iyileyicinin başarı bildirimine güvenmez; kestirimin en büyük noktada olup olmadığını kendisi denetler (durağanlık denetimi, satır 155–187; 39.4.2).

39.3 Örnek veri

Dosya: _ornek/bekleme_suresi.csv. 90 bekleme süresi; öğretim amaçlı üretilmiş yapay veridir, eksik değer yoktur.

Değişken Rol Tür (veri sekmesi) Özet
bekleme_suresi Değişken sayısal 1,669–23,232; ortalama 9,0198; standart sapma 5,2135; medyan 8,2905; çarpıklık 0,77 (sağa çarpık).

Kategorik değişken olmadığından düzey sırası bu şablonda rol oynamaz.

Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) aynı veride öteki altı dağılım; (3) güven düzeyi 0,90; (4) BFGS, L-BFGS-B ve Powell çözücüleri; (5) Hessian adımı 0,1 ve 10^{-7}; (6) yayımlanmış bir veri: _ornek/ozel_olabilirlik_groundbeef.csv, 254 porsiyon büyüklüğü (Delignette-Muller ve Dutang, 2015), Weibull, gama ve log-normal; (7) örnek verinin 60000 ile çarpılmış ve 1440'a bölünmüş kopyaları (kurgusal; dogrulama/ozel_olabilirlik/).

39.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) veriyi sayıya çevir, eksikleri at, desteği denetle; (2) seçilen modelin log-olabilirliğini, başlangıç değerlerini ve alt sınırlarını al; (3) eksi log-olabilirliği iki aşamada en küçükle; (4) çözümde sayısal Hessian'ı hesapla, tersinden SH ve Wald aralığını kur; (5) her parametre için profil olabilirlik aralığını bul; (6) AIC, BIC ve Kolmogorov–Smirnov istatistiğini hesapla; (7) metni, tabloyu ve şekli üret.

39.4.1 Hazır modeller

Seçenek Parametreler \ln f(x;\boldsymbol\theta) Başlangıç değerleri
normal \mu, \sigma -\ln\sigma-\tfrac12\ln2\pi-\dfrac{(x-\mu)^2}{2\sigma^2} \bar x, s_n
lognormal \mu, \sigma -\ln x-\ln\sigma-\tfrac12\ln2\pi-\dfrac{(\ln x-\mu)^2}{2\sigma^2} \overline{\ln x}, s_n(\ln x)
gamma şekil a, ölçek \theta (a-1)\ln x-\dfrac{x}{\theta}-\ln\Gamma(a)-a\ln\theta \bar x^2/v, v/\bar x
weibull şekil k, ölçek \lambda \ln k-k\ln\lambda+(k-1)\ln x-(x/\lambda)^k 1,2; \bar x
ustel oran r \ln r-rx 1/\bar x
lojistik konum m, ölçek s -\dfrac{x-m}{s}-\ln s-2\ln\big(1+e^{-(x-m)/s}\big) medyan, s_n\sqrt3/\pi
gumbel konum \alpha, ölçek s -\ln s-\dfrac{x-\alpha}{s}-e^{-(x-\alpha)/s} \bar x-0{,}5772\,s_n\sqrt6/\pi, s_n\sqrt6/\pi
  • s_n: n paydalı standart sapma; v=s_n^2. Gama burada ölçek ile parametrelenir (ortalama a\theta); Bölüm 32'deki şablon oran kullanır (r=1/\theta).
  • Log-normalde \mu ve \sigma logaritma ölçeğindedir. Gumbel en büyük değer biçimidir (sağa çarpık).
  • Başlangıç değerleri moment kestirimleridir; Weibull'da şekil için sabit 1,2 kullanılır.

Koddaki tercih

Log-olabilirlikler scipy.stats dağılımlarının logpdf fonksiyonlarıyla hesaplanır (satır 93–104). Ölçek ve şekil parametrelerinin alt sınırı 10^{-10} (üstel oranında 10^{-12}), konum parametrelerinin alt sınırı -\infty'dur. Amaç fonksiyonu nll, bir parametre alt sınırına inerse ya da log-olabilirlik sonlu değilse 10^{300} döndürür (117–123): kısıt, en iyileyiciye bir "duvar" olarak bildirilir.

39.4.2 En büyükleme

Eksi log-olabilirlik -\ell(\boldsymbol\theta) scipy.optimize.minimize ile en küçüklenir. Varsayılan yöntem Nelder–Mead simpleks aramasıdır (Nelder ve Mead, 1965).

Neden türevsiz bir yöntem; neden iki aşama?

Şablonun amacı herhangi bir log-olabilirlikle çalışmaktır; kullanıcının yazacağı fonksiyonun türevi verilmeyebilir, hatta fonksiyon türevlenemeyebilir. Nelder–Mead yalnız fonksiyon değerlerini karşılaştırır ve 10^{300}'lük duvarla sorunsuz çalışır. Simpleks aramasının zayıflığı, çözüme yaklaştıkça simpleksin yassılaşıp erken durabilmesidir; ikinci aşama aramayı ilk çözümden yeni bir simpleksle ve daha sıkı ölçütle yeniden başlatarak bunu giderir.

Koddaki tercih

Nelder–Mead'de birinci aşama xatol = 1e-10, fatol = 1e-12, ikinci aşama xatol = 1e-12, fatol = 1e-13 ile çalışır (satır 128–131). Öteki çözücülerde iki aşama da SciPy'nin varsayılan ölçütleriyle çalışır; L-BFGS-B'ye (Byrd, Lu, Nocedal ve Zhu, 1995) alt sınırlar ayrıca bounds olarak verilir (133–135). Uyarılar bastırılır (126–127). En küçükleme bittikten sonra amaç değerinin sonlu olduğu ve kestirimin durağan olduğu denetlenir (138–139, 152–187): log-olabilirliğin gradyanı g (merkezî fark) ve sayısal Hessian H ile Newton adımı H^{-1}g her parametrede standart hatanın %1'inden büyükse nokta en büyük nokta sayılmaz ve kestirim Nelder–Mead ile (en çok dört kez) yeniden başlatılır; sonuç ve "sağlandı / sağlanamadı" notu çıktıya yazılır.

Çözücüler aynı noktaya varmayabilir

Örnek veride (gama) Nelder–Mead şekli 2,8570698, BFGS 2,8570690, L-BFGS-B 2,8570704 bulur; skor denkleminin kesin kökü 2,8570698'dir. Powell'ın (1964) yön kümesi yöntemi ise 2,9758'de durur (log-olabilirlik −267,0049; en büyük değer −266,9628); şablon bu noktanın durağan olmadığını (Newton adımı standart hatanın %1'ini aşar) saptar, Nelder–Mead ile yeniden başlatır ve 2,857070'e varır, çıktıya "Powell çözücüsü … Nelder-Mead ile yeniden başlatıldı" notu yazar. Gama olabilirliği şekil–ölçek düzleminde dar ve eğik bir sırttır (iki kestirim arasındaki korelasyon −0,91); eksenler boyunca arayan Powell bu sırtta ilerleyemez. Durağanlık denetimi her çözücüde çalışır; denetim yeniden başlatmaya rağmen sağlanamazsa not bunu açıkça söyler ve kestirimler dikkatle yorumlanır (39.8).

39.4.3 Standart hata ve Wald aralığı

\widehat{\operatorname{Kov}}(\hat{\boldsymbol\theta})=\mathbf H^{-1},\qquad \mathbf H=\frac{\partial^2(-\ell)}{\partial\boldsymbol\theta\,\partial\boldsymbol\theta^{\top}}\bigg|_{\hat{\boldsymbol\theta}},\qquad \operatorname{SH}(\hat\theta_j)=\sqrt{[\mathbf H^{-1}]_{jj}}
H_{ij}\approx\frac{g(\hat{\boldsymbol\theta}+h_i\mathbf e_i+h_j\mathbf e_j)-g(\hat{\boldsymbol\theta}+h_i\mathbf e_i-h_j\mathbf e_j)-g(\hat{\boldsymbol\theta}-h_i\mathbf e_i+h_j\mathbf e_j)+g(\hat{\boldsymbol\theta}-h_i\mathbf e_i-h_j\mathbf e_j)}{4h_ih_j}
\text{Wald GA:}\quad \hat\theta_j\pm z_{1-\alpha/2}\operatorname{SH}(\hat\theta_j)
  • g=-\ell: eksi log-olabilirlik. \mathbf H: çözümdeki gözlenen bilgi matrisi; tersi kestirimlerin yaklaşık kovaryans matrisidir.
  • h_j=\text{adım}\times\max(\lvert\hat\theta_j\rvert;\ 0{,}001): parametreye göreli adım; \mathbf e_j: j. birim vektör. Köşegen öğelerde (i=j) formül 2h aralıklı ikinci farka iner.
  • z_{1-\alpha/2}: standart normal kantil; %95 için 1,959964.

Neden göreli adım ve neden 10⁻⁴?

Sonlu farkın iki hata kaynağı vardır: kesme hatası h^2 ile, yuvarlama hatası \varepsilon/h^2 ile orantılıdır (\varepsilon\approx10^{-16}\lvert\ell\rvert). İkisini dengeleyen adım \varepsilon^{1/4}\approx10^{-4} dolayındadır. Adımın parametreye göreli olması, sonucu verinin biriminden bağımsız kılar: örnek veri 60000 ile çarpıldığında ya da 1440'a bölündüğünde şeklin SH'si 0,40352'de kalır.

Hessian adımının uçları

Formun izin verdiği aralığın (10⁻⁷–0,1) iki ucu güvenilir değildir: adım küçüldükçe yuvarlama gürültüsü, büyüdükçe kesme hatası artar (adım 0,1'de gama şeklinin SH'si 0,350, 10^{-7}'de 0,358; analitik değer 0,403522). Bu yüzden şablon adımı 10^{-6}–10^{-2} aralığına çeker (satır 109) ve aralığın dışında bir değer girildiyse hangi değerin kullanıldığını bir notla yazar; bu aralıkta SH analitik değerden %0,2 içinde kalır. Profil aralığı Hessian'ı kullanmadığından etkilenmez. Varsayılan adım, olabilirlik çok düz ya da çok sivri olmadıkça değiştirilmez.

39.4.4 Profil olabilirlik aralığı

Bir parametre sabit tutulur, ötekiler üzerinden en büyükleme yapılır:

\ell_p(\theta_j)=\max_{\boldsymbol\theta_{-j}}\ \ell(\theta_j,\boldsymbol\theta_{-j}),\qquad \mathrm{GA}=\Big\{\theta_j:\ 2\big[\ell(\hat{\boldsymbol\theta})-\ell_p(\theta_j)\big]\le\chi^2_{1,\,1-\alpha}\Big\}
  • \boldsymbol\theta_{-j}: j. parametre dışındakiler. \ell_p: profil log-olabilirlik; \theta_j'nin her değeri için ötekilerin o değere en uygun hâli alınır.
  • \chi^2_{1,\,1-\alpha}: 1 serbestlik dereceli ki-kare kantili; %95 için 3,841459. Aralığın uçları, profilin en büyük değerin 3{,}841459/2=1{,}920729 altına indiği iki noktadır.
  • Dayanak, olabilirlik oranı istatistiğinin büyük örneklemde ki-kare dağılmasıdır (Wilks, 1938); aralığın sayısal hesabı için bkz. Venzon ve Moolgavkar (1988).

Neden iki aralık birden?

Wald aralığı log-olabilirliği çözüm çevresinde bir parabolle yaklaştırır; aralık simetriktir ve pozitif bir parametre için sıfırın altına inebilir. Profil aralığı gerçek olabilirlik yüzeyini izler: asimetriyi yansıtır, parametrenin tanım kümesinde kalır ve parametre dönüşümünden etkilenmez (\theta için bulunan aralığın uçlarının logaritması, \ln\theta için bulunacak aralığın uçlarıdır). İkisi yakınsa parabol yaklaşımı yeterlidir; ayrışıyorsa profil aralığı yeğlenir (Meeker ve Escobar, 1995).

Koddaki tercih

Profil değeri iç bir Nelder–Mead aramasıyla bulunur (xatol = 1e-9, fatol = 1e-10; başlangıç ML kestirimi; satır 200–211). Kök arama iki yöne ayrı ayrı yapılır: ML kestiriminden SH kadar adım atılır, eşik aşılana dek adım 1,6 katına çıkarılır (en çok 60 kez), sonra aralıkta Brent yöntemiyle kök bulunur (xtol = 1e-10; 176–189). Alt yönde bir adım parametrenin alt sınırını geçecekse sınıra olan uzaklığın yarısı alınır (218–219). Kök bulunamazsa hücre boş bırakılır. Tek parametreli modelde (üstel) profil, olabilirliğin kendisidir (201–202).

39.4.5 Bilgi ölçütleri ve Kolmogorov–Smirnov istatistiği

\mathrm{AIC}=2k-2\ell(\hat{\boldsymbol\theta}),\qquad \mathrm{BIC}=k\ln n-2\ell(\hat{\boldsymbol\theta}),\qquad D=\max_i\Big\{\frac in-F(x_{(i)};\hat{\boldsymbol\theta}),\ F(x_{(i)};\hat{\boldsymbol\theta})-\frac{i-1}{n}\Big\}
  • k: parametre sayısı; x_{(i)}: sıralı gözlemler; F: kestirilen dağılımın birikimli dağılım fonksiyonu.
  • AIC ve BIC yalnız aynı veri üzerindeki modeller arasında karşılaştırılır; küçük olan yeğlenir.
  • D: deneysel dağılım fonksiyonu ile kestirilen dağılım arasındaki en büyük düşey uzaklık.

KS p değeri iyimserdir

scipy.stats.kstest p değerini, dağılım önceden tam belirlenmiş gibi hesaplar. Burada parametreler aynı veriden kestirilmiştir; kestirilen dağılım veriye olabildiğince yaklaştırıldığı için D küçülür ve p değeri gerçekte olması gerekenden büyük çıkar (Lilliefors, 1967). Şablon bunu çıktıda "parametreler kestirildiği için iyimser" notuyla belirtir. Küçük bir p değeri uyumsuzluğun güçlü kanıtıdır; büyük bir p değeri uyumun kanıtı değildir.

39.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–67 Üstbilgi: açıklama, örnek veri ve ayar, 8 parametre. Form buradan kurulur (Bölüm 1.2).
68–88 İçe aktarmalar, dil seçici _m; verinin sayıya çevrilmesi; gözlem sayısı, sabitlik ve pozitiflik denetimleri. pd.to_numeric(errors="coerce"): metin hücreler eksik sayılır (79).
90–114 MODELLER sözlüğü: parametre adları, log-olabilirlik, başlangıç, alt sınırlar; seçeneklerin okunması. Kendi modelinizi buraya eklersiniz (91).
117–139 Amaç fonksiyonu nll; iki aşamalı en küçükleme; sonluluk denetimi; th, llmax. Sınır ihlali ve sonsuzluk 10^{300} ile cezalandırılır (119–123).
142–195 Sayısal Hessian, tersinden SH; Wald kantili ve profil eşiği. Tekil Hessian'da SH boş kalır (191–192).
198–227 Profil olabilirlik: iç en büyükleme pl, kök arama kok. Her parametre için iki kök (227).
230–244 Sonuç tablosu; AIC, BIC; metin satırları. Metinde sayılar mq.sayi ile yuvarlanır; tablo tam hassasiyetlidir.
245–257 Kestirilen dağılım nesnesi; KS istatistiği ve p değeri. Bu blok yalnız yedi hazır modeli tanır (247–250).
259–269 Şekil (histogram ve kestirilen yoğunluk), tablo ve şeklin kaydı. Histogram sınıfları bins="auto".

Kendi modelinizi eklemek. MODELLER'e dört öğeli bir girdi yazılır: parametre adları, \boldsymbol\theta dizisini alıp log-olabilirliği döndüren fonksiyon, başlangıç değerleri, alt sınırlar. Örneğin alt ucu bilinen bir c noktasında kesilmiş üstel dağılım için:

"ustel": ([_m("oran", "rate")], lambda t: (np.log(t[0]) - t[0] * (x - c)).sum(), [1 / (x.mean() - c)], [1e-12]),

Formdaki "Dağılım" listesi yedi kimlikle sınırlı olduğundan yeni model var olan bir kimliğin yerine yazılır. Satır 208–220'deki blok kestirilen dağılımı yalnız hazır modeller için kurar; log-olabilirlik değiştirildiğinde KS satırı ve şekildeki eğri eski dağılıma göre hesaplanır, bu yüzden o blok da birlikte güncellenir ya da "Kolmogorov-Smirnov uyum testi" kutusu kapatılır.

39.6 Elle hesap: örnek veride bağımsız yeniden hesap

Değerler dogrulama/ozel_olabilirlik/elle_hesap.py ile hesaplanmıştır. Betik scipy.optimize.minimize'ı, scipy.stats yoğunluklarını ve şablon kodunu kullanmaz: log-olabilirlikleri 39.4.1'deki formüllerle yazar, ML kestirimini kapalı biçimden ya da skor denkleminin kökünden, SH'yi analitik bilgi matrisinden alır; profil aralığında iç en büyükleme kapalı biçimle (ya da tek boyutlu kökle), uçlar ikiye bölme yöntemiyle bulunur. R tarafında (r_dogrulama.R) aynı büyüklükler nlminb, numDeriv ve uniroot ile, KS stats::ks.test ile hesaplanmıştır.

Adım 1 — Özet istatistikler. n=90; \bar x=9{,}019844; \overline{\ln x}=2{,}014332; \ln\bar x-\overline{\ln x}=2{,}199427-2{,}014332=0{,}185095.

Adım 2 — Gama ML. Ölçeğe göre türev sıfırlanınca \hat\theta=\bar x/\hat a bulunur; yerine konunca şekil için tek bilinmeyenli denklem kalır (Choi ve Wette, 1969; Weibull'daki karşılığı için Cohen, 1965):

\ln a-\psi(a)=\ln\bar x-\overline{\ln x}=0{,}185095

Newton yöntemiyle (a\leftarrow a-\dfrac{\ln a-\psi(a)-0{,}185095}{1/a-\psi'(a)}):

Yineleme a Denklemin değeri
0 2,850536 0,000447
1 2,857054 1{,}1\times10^{-6}
2 2,857070 6{,}2\times10^{-12}

\hat a=2{,}857070; \hat\theta=9{,}019844/2{,}857070=3{,}157026. Şablonun başlangıç değerleri olan moment kestirimleri (3{,}026807;\ 2{,}979986)'dir.

Adım 3 — Bilgi matrisi ve standart hatalar.

-\frac{\partial^2\ell}{\partial\boldsymbol\theta\,\partial\boldsymbol\theta^{\top}}=n\begin{pmatrix}\psi'(a)&1/\theta\\1/\theta&a/\theta^2\end{pmatrix}=\begin{pmatrix}37{,}6422&28{,}5078\\28{,}5078&25{,}7992\end{pmatrix}

Tersinin köşegeni 0,162831 ve 0,237578'dir:

\operatorname{SH}(\hat a)=0{,}403522,\qquad \operatorname{SH}(\hat\theta)=0{,}487417,\qquad \operatorname{kor}(\hat a,\hat\theta)=-0{,}9148

Güçlü negatif korelasyon beklenir: şekil büyürken ölçek küçülürse ortalama (a\theta) aynı kalır ve veri iki durumu ayırt etmekte zorlanır.

Adım 4 — Wald aralıkları. 2{,}857070\pm1{,}959964\cdot0{,}403522=[2{,}066182;\ 3{,}647957]; 3{,}157026\pm1{,}959964\cdot0{,}487417=[2{,}201706;\ 4{,}112346].

Adım 5 — Profil aralığı (şekil). Şekil sabitken ölçeğin en büyükleyicisi kapalıdır: \tilde\theta(a)=\bar x/a. En büyük log-olabilirlik \ell(\hat{\boldsymbol\theta})=-266{,}962808.

a \tilde\theta(a) \ell_p(a) 2[\ell_{\max}-\ell_p(a)]
2,0 4,509922 −269,840476 5,7553
2,140734 4,213436 −268,883537 3,8415
2,5 3,607938 −267,392277 0,8589
2,857070 3,157026 −266,962808 0
3,2 2,818701 −267,296206 0,6668
3,726351 2,420557 −268,883537 3,8415
4,0 2,254961 −270,116412 6,3072

Eşiği (3,8415) kesen iki nokta aralığın uçlarıdır: şekil için [2{,}140734;\ 3{,}726351]. Ölçek için aynı yolla (ölçek sabitken şekil, \psi(a)=\overline{\ln x}-\ln\theta denkleminin köküdür) [2{,}368766;\ 4{,}347651]. Profil aralıkları Wald aralıklarına göre sağa kaymıştır: şeklin üst ucu 3,726 (Wald 3,648), alt ucu 2,141 (Wald 2,066).

Adım 6 — Bilgi ölçütleri ve KS. \mathrm{AIC}=4+533{,}925616=537{,}9256; \mathrm{BIC}=2\ln90+533{,}925616=542{,}9252. D=0{,}047907; tam belirlenmiş dağılım varsayımıyla p=0{,}9798.

Adım 7 — Yedi dağılım aynı veride.

Dağılım Kestirim SH \ell AIC D
Normal 9,019844; 5,184498 0,546494; 0,386430 −275,8150 555,630 0,0854
Log-normal 2,014332; 0,642697 0,067746; 0,047904 −269,2070 542,414 0,0873
Gama 2,857070; 3,157026 0,403522; 0,487417 −266,9628 537,926 0,0479
Weibull 1,833994; 10,186174 0,149919; 0,618234 −267,3288 538,658 0,0477
Üstel 0,110867 0,011686 −287,9484 577,897 0,1978
Lojistik 8,601809; 2,949028 0,544684; 0,257089 −276,3335 556,667 0,0870
Gumbel 6,625795; 4,063920 0,451046; 0,343635 −269,2122 542,424 0,0575

Gama ve Weibull birbirine çok yakındır (AIC farkı 0,73); simetrik dağılımlar (normal, lojistik) ve tek parametreli üstel belirgin geridedir. Normal dağılımda profil aralığının kapalı biçimi vardır: \bar x\pm\hat\sigma\sqrt{e^{\chi^2/n}-1}=9{,}019844\pm5{,}184498\cdot0{,}208823=[7{,}937204;\ 10{,}102484]; şablonun değeriyle aynıdır.

Adım 8 — Yayımlanmış veriyle karşılaştırma. Porsiyon büyüklüğü verisinde (n=254) bağımsız hesap: Weibull şekil 2,185612, ölçek 83,346669, \ell=-1255{,}2247; gama şekil 4,008339, ölçek 18,373114, \ell=-1253{,}6251; log-normal 4,169370; 0,536610; \ell=-1261{,}3193. Delignette-Muller ve Dutang (2015) Weibull için 2,186 ve 83,348, log-olabilirlikler için −1255,225; −1253,625; −1261,319 değerlerini verir; üç ondalıkta aynıdır (ölçekteki 83,347 ↔ 83,348 farkı, yayımdaki değerin daha gevşek bir yakınsama ölçütüyle hesaplanmasından gelir).

39.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun "ML kestirimleri" tablosundan tam hassasiyetle alınmıştır (çalıştırmalar 1–3 ve 6). Log-olabilirlik, AIC, BIC ve KS yalnız metin satırında yazıldığından oradaki yuvarlamayla karşılaştırılmıştır.

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Gama (örnek ayar): şekil 2,85706978 2,85706978 2,85706978 8,4e−10 ✓
Gama (örnek ayar): ölçek 3,15702633 3,15702631 3,15702631 7,3e−9 ✓
Gama (örnek ayar): SH şekil 0,40352143 0,40352154 0,40352154 1,1e−7 ✓
Gama (örnek ayar): SH ölçek 0,48741691 0,48741704 0,48741704 1,4e−7 ✓
Gama (örnek ayar): Wald GA alt şekil 2,0661823 2,06618209 2,06618209 1,0e−7 ✓
Gama (örnek ayar): Wald GA alt ölçek 2,20170675 2,20170646 2,20170646 1,3e−7 ✓
Gama (örnek ayar): Wald GA üst şekil 3,64795725 3,64795747 3,64795747 6,0e−8 ✓
Gama (örnek ayar): Wald GA üst ölçek 4,11234591 4,11234615 4,11234616 6,0e−8 ✓
Gama (örnek ayar): profil GA alt şekil 2,14073387 2,14073387 2,14073387 1,6e−14 ✓
Gama (örnek ayar): profil GA alt ölçek 2,36876585 2,36876585 2,36876585 3,3e−12 ✓
Gama (örnek ayar): profil GA üst şekil 3,72635112 3,72635112 3,72635112 2,4e−14 ✓
Gama (örnek ayar): profil GA üst ölçek 4,3476508 4,3476508 4,3476508 3,4e−13 ✓
Gama: log-olabilirlik (metin, 4 ondalık) −266,9628 −266,9628 −266,9628 0 ✓
Gama: AIC (metin, 3 ondalık) 537,926 537,926 537,926 0 ✓
Gama: BIC (metin, 3 ondalık) 542,925 542,925 542,925 0 ✓
Gama: KS D (metin, 4 ondalık) 0,0479 0,0479 0,0479 0 ✓
Gama: KS p (metin, 4 anlamlı basamak) 0,9798 0,9798 0,9798 0 ✓
Gama, %90: Wald GA alt (şekil) 2,19333609 2,19333591 2,19333591 8,2e−8 ✓
Gama, %90: profil GA üst (ölçek) 4,11939231 4,11939231 4,11939231 2,2e−14 ✓
Normal: \mu 9,01984433 9,01984444 9,01984444 1,2e−8 ✓
Normal: SH(\mu) 0,54649402 0,54649402 0,54649402 2,4e−9 ✓
Normal: \sigma 5,18449752 5,18449752 5,18449752 1,0e−9 ✓
Normal: SH(\sigma) 0,38642961 0,38642963 0,38642963 2,1e−8 ✓
Normal: profil GA alt (\mu) 7,93720405 7,93720405 7,93720405 2,7e−12 ✓
Normal: profil GA üst (\sigma) 6,04501498 6,04501498 6,04501498 8,8e−16 ✓
Normal: log-olabilirlik (metin, 4 ondalık) −275,815 −275,815 −275,815 0 ✓
Log-normal: \mu 2,01433231 2,0143323 2,0143323 1,6e−9 ✓
Log-normal: SH(\mu) 0,06774621 0,06774621 0,06774621 7,5e−10 ✓
Log-normal: \sigma 0,64269698 0,64269698 0,64269698 4,9e−9 ✓
Log-normal: SH(\sigma) 0,0479038 0,0479038 0,0479038 3,7e−9 ✓
Log-normal: profil GA alt (\mu) 1,88012263 1,88012263 1,88012263 1,4e−12 ✓
Log-normal: profil GA üst (\sigma) 0,74937115 0,74937115 0,74937115 2,3e−15 ✓
Log-normal: log-olabilirlik (metin, 4 ondalık) −269,207 −269,207 −269,207 0 ✓
Weibull: şekil 1,83399371 1,83399372 1,83399372 2,7e−9 ✓
Weibull: SH(şekil) 0,14991877 0,14991878 0,14991878 3,4e−9 ✓
Weibull: ölçek 10,18617377 10,1861737 10,1861737 7,1e−9 ✓
Weibull: SH(ölçek) 0,61823354 0,61823356 0,61823356 2,0e−8 ✓
Weibull: profil GA alt (şekil) 1,55200756 1,55200756 1,55200756 8,0e−12 ✓
Weibull: profil GA üst (ölçek) 11,46582802 11,46582802 11,46582802 9,0e−14 ✓
Weibull: log-olabilirlik (metin, 4 ondalık) −267,3288 −267,3288 −267,3288 0 ✓
Üstel: oran 0,11086666 0,11086666 0,11086666 3,0e−12 ✓
Üstel: SH(oran) 0,01168637 0,01168637 0,01168637 2,1e−10 ✓
Üstel: profil GA alt (oran) 0,08951124 0,08951124 0,08951124 5,1e−12 ✓
Üstel: profil GA üst (oran) 0,13537531 0,13537531 0,13537531 1,4e−14 ✓
Üstel: log-olabilirlik (metin, 4 ondalık) −287,9484 −287,9484 −287,9484 0 ✓
Lojistik: konum 8,60180861 8,60180864 8,60180864 2,4e−9 ✓
Lojistik: SH(konum) 0,54468409 0,5446841 0,5446841 1,2e−8 ✓
Lojistik: ölçek 2,94902841 2,94902846 2,94902846 1,6e−8 ✓
Lojistik: SH(ölçek) 0,25708922 0,25708924 0,25708924 2,0e−8 ✓
Lojistik: profil GA alt (konum) 7,53623891 7,53623891 7,53623891 3,1e−13 ✓
Lojistik: profil GA üst (ölçek) 3,5197365 3,5197365 3,5197365 3,8e−12 ✓
Lojistik: log-olabilirlik (metin, 4 ondalık) −276,3335 −276,3335 −276,3335 0 ✓
Gumbel: konum 6,62579517 6,6257952 6,6257952 5,1e−9 ✓
Gumbel: SH(konum) 0,45104591 0,45104592 0,45104592 1,1e−8 ✓
Gumbel: ölçek 4,06391991 4,06391996 4,06391996 1,1e−8 ✓
Gumbel: SH(ölçek) 0,3436349 0,34363493 0,34363493 3,1e−8 ✓
Gumbel: profil GA alt (konum) 5,74595498 5,74595498 5,74595498 2,9e−13 ✓
Gumbel: profil GA üst (ölçek) 4,82754206 4,82754206 4,82754206 4,0e−15 ✓
Gumbel: log-olabilirlik (metin, 4 ondalık) −269,2122 −269,2122 −269,2122 0 ✓
Porsiyon verisi, Weibull: şekil 2,18561233 2,18561233 2,18561233 2,7e−9 ✓
Porsiyon verisi, Weibull: ölçek 83,34666944 83,34666883 83,34666884 7,3e−9 ✓
Porsiyon verisi, Weibull: SH(şekil) 0,10456642 0,10456642 0,10456642 3,1e−9 ✓
Porsiyon verisi, Weibull: profil GA alt (şekil) 1,98515875 1,98515875 1,98515875 1,4e−12 ✓
Porsiyon verisi, Weibull: log-olabilirlik (metin, 4 ondalık) −1255,2247 −1255,2247 −1255,2247 0 ✓
Porsiyon verisi, Gama: şekil 4,00833907 4,00833903 4,00833903 1,0e−8 ✓
Porsiyon verisi, Gama: ölçek 18,3731135 18,37311383 18,37311383 1,8e−8 ✓
Porsiyon verisi, Gama: SH(şekil) 0,34191267 0,34191282 0,34191282 1,5e−7 ✓
Porsiyon verisi, Gama: profil GA alt (şekil) 3,3763491 3,3763491 3,3763491 1,6e−12 ✓
Porsiyon verisi, Gama: log-olabilirlik (metin, 4 ondalık) −1253,6251 −1253,6251 −1253,6251 0 ✓
Porsiyon verisi, Log-normal: \mu 4,16937009 4,16937009 4,16937009 3,7e−10 ✓
Porsiyon verisi, Log-normal: \sigma 0,53660951 0,53660951 0,53660951 7,7e−9 ✓
Porsiyon verisi, Log-normal: SH(\mu) 0,03366987 0,03366988 0,03366988 4,9e−10 ✓
Porsiyon verisi, Log-normal: profil GA alt (\mu) 4,10312805 4,10312805 4,10312805 7,7e−13 ✓
Porsiyon verisi, Log-normal: log-olabilirlik (metin, 4 ondalık) −1261,3193 −1261,3193 −1261,3193 0 ✓

Ölçütü karşılayan: 74/74. Python: kapalı biçim, skor denkleminin kökü (ikiye bölme) ya da analitik skor ve Hessian'lı Newton-Raphson; SH analitik gözlenen bilgi matrisinden; profil sınırları ikiye bölmeyle (scipy.optimize ve scipy.stats yoğunlukları kullanılmadan). R: nlminb + numDeriv (Richardson) ve uniroot; KS stats::ks.test. Kalan farklar şablonun Nelder-Mead durma ölçütünden ve sayısal Hessian adımından gelir.

Kalan farklar 10^{-7} düzeyindedir ve iki kaynaktan gelir: Nelder–Mead'in durduğu nokta (kestirimlerde 10^{-8}–10^{-7}) ve sayısal Hessian'ın kesme hatası (SH'lerde 10^{-7}). Profil sınırları, iç en büyükleme ve kök arama ayrı toleranslarla çalıştığı hâlde bağımsız hesapla dokuz basamakta örtüşür.

39.7 Çıktıyı okuma

Örnek ayarın metin çıktısı:

Dağılım: gamma; n = 90; log-olabilirlik = -266,9628; AIC = 537,926; BIC = 542,925
  şekil = 2,8571 (SH 0,4035); Wald GA [2,0662; 3,648]; profil GA [2,1407; 3,7264]
  ölçek = 3,157 (SH 0,4874); Wald GA [2,2017; 4,1123]; profil GA [2,3688; 4,3477]
Kolmogorov-Smirnov uyum: D = 0,0479; p ≈ 0,9798 (parametreler kestirildiği için iyimser).

"ML kestirimleri" tablosu (altı ondalık):

parametre kestirim SH wald_alt wald_ust profil_alt profil_ust
şekil 2,857070 0,403521 2,066182 3,647957 2,140734 3,726351
ölçek 3,157026 0,487417 2,201707 4,112346 2,368766 4,347651
Öğe Ne yazar Nasıl yorumlanır
Başlık satırı Dağılım, n, log-olabilirlik, AIC, BIC Başka bir dağılımla aynı veride karşılaştırmak için AIC/BIC; tek başına bir anlam taşımaz.
kestirim ML kestirimi Gama: ortalama a\theta=2{,}857\cdot3{,}157=9{,}02 (örneklem ortalamasına eşittir); standart sapma \theta\sqrt a=5{,}34.
SH Sayısal Hessian'ın tersinden standart hata Şekil ve ölçek güçlü biçimde ilişkilidir; SH'ler tek tek büyük görünse de ortalama iyi belirlenir.
wald_alt, wald_ust \hat\theta\pm z\cdot\mathrm{SH} Simetrik aralık; büyük örneklemde yeterlidir.
profil_alt, profil_ust Olabilirlik oranı eşiğini kesen noktalar Asimetrik: şekil için 2,14–3,73. Wald'dan ayrışıyorsa bu aralık raporlanır.
KS satırı D ve yaklaşık p D=0{,}048 küçük bir uzaklıktır; p yalnız kabaca bir göstergedir (39.4.5).

Şekil 39.1. Şablonun şekli (örnek ayar): bekleme sürelerinin yoğunluk ölçekli histogramı ve kestirilen gama yoğunluğu. Eğri, verinin en küçük ve en büyük değeri arasında çizilir.

Rapor cümlesi:

Bekleme sürelerine (n = 90) en çok olabilirlikle gama dağılımı uyduruldu: şekil = 2,86 (SH = 0,40; %95 profil olabilirlik GA 2,14–3,73), ölçek = 3,16 (SH = 0,49; GA 2,37–4,35); log-olabilirlik = −266,96; AIC = 537,93. Aynı veride Weibull dağılımı benzer uyum verdi (AIC = 538,66); log-normal (542,41) ve normal (555,63) dağılımlar daha zayıf kaldı.

39.8 Sık hatalar ve tuzaklar

  • Çözücüyü değiştirip uyarıyı yok saymak. Powell, BFGS ya da L-BFGS-B bazen en büyük noktaya varmadan durur (örnekte Powell şekli 2,9758, ölçeği 3,0310 bulur; ML 2,8571; 3,1570). Şablon bunu saptar, Nelder–Mead ile yeniden başlatır ve çıktıda yazar; "SAĞLANAMADI" notu çıkarsa kestirimler dikkatle yorumlanır ve çözücü ya da en çok yineleme değiştirilir.
  • Hessian adımını uç değerlere çekmek. 0,1 ve 10^{-7} adımları 10^{-6}–10^{-2} aralığına çekilir ve çıktıya not yazılır; aralık içinde (ör. 10^{-6} ya da 10^{-2}) SH hâlâ adıma duyarlıdır, Wald ile profil aralıklarının genişlikleri beklenmedik ölçüde ayrışıyorsa önce adım denetlenir.
  • Parametreleştirmeyi karıştırmak. Bu şablonda gama ölçek ile (\theta), Bölüm 32'deki şablonda oran ile (r=1/\theta) parametrelenir: porsiyon verisinde 18,373 ve 0,05443 aynı kestirimdir. Üstel dağılım burada oranla, log-normal logaritma ölçeğindeki ortalama ve standart sapmayla verilir.
  • KS p değerini uyum kanıtı saymak. p\approx0{,}98 "veri gama dağılımından geliyor" demek değildir; aynı veride Weibull de 0,98 verir. Parametreler kestirildiği için p değeri yukarı yanlıdır. Dağılımlar arasında karar AIC/BIC ve grafiklerle verilir.
  • Farklı ölçekteki verilerin log-olabilirliğini karşılaştırmak. Veri 1440'a bölündüğünde log-olabilirlik −266,96'dan +387,55'e çıkar; kestirilen şekil ve bütün göreli büyüklükler aynıdır. Log-olabilirlik ve AIC yalnız aynı birimdeki aynı veride karşılaştırılır.
  • Wald aralığını küçük örneklemde tek başına raporlamak. Pozitif bir parametre için Wald aralığı sıfırın altına inebilir. Örnek veride inmez, ama şeklin üst ucunu profil aralığına göre 0,08 kısa verir.
  • Kendi modelini yazarken tanım dışını cezalandırmamak. Log-olabilirlik, geçersiz parametrede nan ya da −inf döndürmelidir; nll bunu 10^{300}'e çevirir. Sessizce sonlu ama anlamsız bir değer döndüren fonksiyon en iyileyiciyi tanım dışına çeker. Alt sınırlar dördüncü öğede verilir; üst sınır ya da parametreler arası kısıt gerekiyorsa fonksiyonun içinde denetlenir.
  • Kendi modelinde KS ve eğriyi eski dağılımdan okumak. Satır 208–220 yalnız yedi hazır dağılımı bilir (39.5).
  • Yakın iki dağılım arasında AIC farkına fazla anlam yüklemek. Gama ile Weibull arasındaki 0,73'lük AIC farkı bir tercih gerekçesi değildir; ikisi de raporlanabilir.

39.9 Uzman soruları

S1. Standart hatalar gözlenen bilgiden mi, beklenen bilgiden mi?

Gözlenen bilgiden: çözümdeki eksi log-olabilirliğin sayısal ikinci türev matrisinin tersi. Üstel aile dağılımlarında doğal parametrelerle ikisi çakışır; gamada şekil–ölçek parametreleştirmesinde de çözümde eşittir (skor sıfırken \sum x_i=n\hat a\hat\theta olduğundan). Weibull, lojistik ve Gumbel'de gözlenen ve beklenen bilgi farklıdır; örneklem büyüdükçe yakınsar. Sayısal türevin doğruluğu varsayılan adımda yeterlidir: gama için sayısal SH 0,4035214, analitik 0,4035215.

S2. Profil aralığı ile Wald aralığı ne zaman belirgin ayrışır?

Log-olabilirlik çözüm çevresinde parabolden uzaklaştığında: küçük örneklem, sınıra yakın parametre, çarpık kestirici. Örnek veride (n=90) gama şekli için Wald 2,066–3,648, profil 2,141–3,726; fark aralık genişliğinin %5'i kadardır ve yönü sağadır. Porsiyon verisinde (n=254) Weibull şekli için Wald 1,981–2,391, profil 1,985–2,395; fark %1'e iner. Wald aralığı logaritma ölçeğinde kurulup geri dönüştürülürse profil aralığına yaklaşır; profil aralığı böyle bir ölçek seçimi gerektirmez.

S3. Profil aralığındaki iç en büyükleme Nelder–Mead ile yapılıyor; bu yeterince kesin mi?

Evet. İç arama ML kestiriminden başlar ve parametre sayısı bir eksik (iki parametreli modelde tek boyut) olduğundan hızla yakınsar. Bağımsız hesapta iç en büyükleme kapalı biçimle yapılmıştır; uçlar şablonunkilerle dokuz basamakta aynıdır (şekil alt ucu 2,1407338695). Kök arama Brent yöntemiyle 10^{-10} mutlak toleransla sonlanır.

S4. Neden başlangıçta moment kestirimleri; kötü başlangıç sonucu değiştirir mi?

Moment kestirimleri ucuzdur ve çözüme yakındır (gama için 3,027 ↔ 2,857). Hazır yedi dağılımın log-olabilirliği iki parametreli ve tek tepelidir; Nelder–Mead uzak bir başlangıçtan da aynı noktaya varır (Weibull'da başlangıç şekli sabit 1,2'dir; çözüm 1,834). Kullanıcının yazacağı çok tepeli bir olabilirlikte (karışım modelleri) durum farklıdır: sonuç başlangıca bağlı olur ve birkaç başlangıç denenip log-olabilirliği en büyük olan alınmalıdır.

S5. KS için doğru p değeri nasıl bulunur?

Parametrik bootstrap ile: kestirilen dağılımdan n gözlemlik örnekler üretilir, her birinde parametreler yeniden kestirilir ve D yeniden hesaplanır; gözlenen D'nin bu dağılımdaki yeri p değeridir. Normal ve üstel dağılım için Lilliefors'un (1967) tabloları aynı işi görür. Şablon bunu yapmaz; bootstrap_ozel ya da yontem_benzetim şablonuyla kurulabilir. Uygulamada dağılım seçimi için AIC ve Q-Q grafiği (Bölüm 32) çoğunlukla yeterlidir.

S6. Sonuçlar verinin birimine bağlı mı?

Ölçek parametreleri birimle birlikte değişir, öteki her şey değişmez. Örnek veri 60000 ile çarpıldığında gama ölçeği 189421,6 olur (3{,}157026\times60000); şekil 2,857070, SH 0,403521 ve profil aralığı 2,140734–3,726351 aynen kalır. Bunu sağlayan, Hessian adımının parametreye göreli olması ve Nelder–Mead'in başlangıç simpleksini parametre büyüklüğüne göre kurmasıdır. Log-olabilirlik ise n\ln c kadar kayar (c: birim çarpanı).

S7. Aynı veriye Bölüm 32'deki şablon aynı kestirimi verir mi?

Aynı olabilirliği en büyüklerler; kestirimler en iyileyicilerin durduğu yere kadar aynıdır. Porsiyon verisinde Weibull şekli bu şablonda 2,1856123, Bölüm 32'deki şablonda 2,1856131, denklemin kökü 2,1856123'tür. Fark şuradadır: bu şablon profil aralığı ve göreli adımlı Hessian verir, tek dağılımla çalışır; öteki şablon adayları karşılaştırır, iyi uyum istatistiklerini, sansürü ve bootstrap'ı sunar.

S8. İkiden çok parametreli bir model yazılırsa hangi sınırlar devreye girer?

Hessian k^2 değerlendirme (4k^2 fonksiyon çağrısı) ister; profil aralığı her parametre için onlarca iç en büyükleme yapar ve iç arama k-1 boyutlu Nelder–Mead'dir. Dört–beş parametreye kadar sorunsuzdur; daha fazlasında Nelder–Mead yavaşlar ve erken durabilir, BFGS seçilip log-olabilirliğin iki aşamada değişmediği denetlenmelidir. Parametreler arasında çok farklı ölçekler varsa (biri 0,001, öteki 1000) log-parametre ile yazmak hem aramayı hem Hessian'ı iyileştirir; bu durumda SH ve aralıklar logaritma ölçeğinde çıkar.

39.10 Kaynaklar

  • Byrd, R. H., Lu, P., Nocedal, J., & Zhu, C. (1995). A limited memory algorithm for bound constrained optimization. SIAM Journal on Scientific Computing, 16(5), 1190–1208. https://doi.org/10.1137/0916069
  • Choi, S. C., & Wette, R. (1969). Maximum likelihood estimation of the parameters of the gamma distribution and their bias. Technometrics, 11(4), 683–690. https://doi.org/10.1080/00401706.1969.10490731
  • Cohen, A. C. (1965). Maximum likelihood estimation in the Weibull distribution based on complete and on censored samples. Technometrics, 7(4), 579–588. https://doi.org/10.1080/00401706.1965.10490300
  • Delignette-Muller, M. L., & Dutang, C. (2015). fitdistrplus: An R package for fitting distributions. Journal of Statistical Software, 64(4), 1–34. https://doi.org/10.18637/jss.v064.i04
  • Harris, C. R., Millman, K. J., van der Walt, S. J., et al. (2020). Array programming with NumPy. Nature, 585(7825), 357–362. https://doi.org/10.1038/s41586-020-2649-2
  • Hunter, J. D. (2007). Matplotlib: A 2D graphics environment. Computing in Science & Engineering, 9(3), 90–95. https://doi.org/10.1109/MCSE.2007.55
  • Lilliefors, H. W. (1967). On the Kolmogorov-Smirnov test for normality with mean and variance unknown. Journal of the American Statistical Association, 62(318), 399–402. https://doi.org/10.1080/01621459.1967.10482916
  • McKinney, W. (2010). Data structures for statistical computing in Python. Proceedings of the 9th Python in Science Conference, 56–61. https://doi.org/10.25080/Majora-92bf1922-00a
  • Meeker, W. Q., & Escobar, L. A. (1995). Teaching about approximate confidence regions based on maximum likelihood estimation. The American Statistician, 49(1), 48–53. https://doi.org/10.1080/00031305.1995.10476112
  • Nelder, J. A., & Mead, R. (1965). A simplex method for function minimization. The Computer Journal, 7(4), 308–313. https://doi.org/10.1093/comjnl/7.4.308
  • Powell, M. J. D. (1964). An efficient method for finding the minimum of a function of several variables without calculating derivatives. The Computer Journal, 7(2), 155–162. https://doi.org/10.1093/comjnl/7.2.155
  • Venzon, D. J., & Moolgavkar, S. H. (1988). A method for computing profile-likelihood-based confidence intervals. Applied Statistics, 37(1), 87–94. https://doi.org/10.2307/2347496
  • Virtanen, P., Gommers, R., Oliphant, T. E., et al. (2020). SciPy 1.0: Fundamental algorithms for scientific computing in Python. Nature Methods, 17(3), 261–272. https://doi.org/10.1038/s41592-019-0686-2
  • Wilks, S. S. (1938). The large-sample distribution of the likelihood ratio for testing composite hypotheses. The Annals of Mathematical Statistics, 9(1), 60–62. https://doi.org/10.1214/aoms/1177732360