145. Gözlenemeyen Bileşenler Modeli (Yapısal Zaman Serisi)
Analiz kimliği: ucm · Menü adı: Gözlenemeyen Bileşenler Modeli (Yapısal Zaman Serisi) · Panel: gui/panels/analyses/unobserved_components.py · Motor: stats/unobserved_components.py, run_unobserved_components (satır 402–722), model kurulumu _make_model (satır 181–311), kestirim _fit ve _hessian_cov (satır 370–397); Kalman süzgeci ve düzleştiricisi statsmodels MLEModel
145.1 Ne işe yarar
Gözlenemeyen bileşenler modeli (UCM, yapısal zaman serisi modeli) bir seriyi doğrudan gözlenemeyen ama yorumlanabilir parçalara ayırır: zamanla kayan bir seviye, isteğe bağlı bir eğim (eğilim hızı), mevsim deseni, isteğe bağlı sönümlü bir döngü, açıklayıcı değişkenlerin etkisi ve düzensiz bileşen. Cevapladığı soru: "Seri hangi bileşenlerden oluşuyor, her bileşen zamanla ne kadar değişiyor, ve bu yapı sürerse gelecekte ne beklenir?"
- \mu_t: seviye (yerel düzey); \gamma_t: mevsim etkisi; \psi_t: döngü.
- \mathbf x_t^{\top}\boldsymbol\beta: açıklayıcı değişkenlerin katkısı (\boldsymbol\beta zamanla sabit).
- \varepsilon_t: düzensiz bileşen (ölçüm hatası); varyansı \sigma^2_\varepsilon.
Her bileşenin kendi şoku ve varyansı vardır. Bir varyansın sıfır çıkması o bileşenin zamanla değişmediğini (deterministik olduğunu) gösterir. Bu, modelin en güçlü yorum aracıdır: "mevsim deseni sabit mi, değişiyor mu?" sorusu tek bir varyans kestirimiyle cevaplanır.
Ne zaman kullanılır
- Eğilim, mevsim ve döngü gibi bileşenleri ayrı ayrı görmek, düzleştirilmiş değerlerini ve belirsizliklerini raporlamak gerektiğinde.
- Bir bileşenin sabit mi değişken mi olduğu sınanmak istendiğinde.
- Seride eksik gözlem olduğunda (Kalman süzgeci eksik dönemi doğal olarak taşır).
- Açıklayıcı değişkenin etkisi zaman içinde değişen bir seviye ve mevsimle birlikte kestirilecekse.
Ne zaman kullanılmaz
- Yalnız öngörü isteniyor ve bileşen yorumu gerekmiyorsa daha yalın seçenekler: ARIMA Tahmin (bölüm 138), Üstel Düzleştirme (bölüm 139).
- Yalnız betimleyici ayrıştırma isteniyorsa (model, olabilirlik, öngörü gerekmeden): STL Mevsimsel Ayrıştırma (bölüm 137).
- Birden çok serinin birlikte modellenmesi: VAR (bölüm 142). Varyansın zamanla değişmesi: GARCH (bölüm 144).
Sık karıştırılan analizler. UCM ile STL'nin ikisi de bileşen verir; STL yerel regresyonla ayrıştırır, olasılık modeli ve öngörü yoktur. UCM ile ETS'nin ikisi de durum uzayı modelidir; ETS'de tek şok bütün durumları sürer, UCM'de her bileşenin ayrı şoku vardır. UCM'nin indirgenmiş biçimi bir ARIMA modelidir (145.5.3): temel yapısal model ARIMA(0,1,1)(0,1,1)_{12}'ye yakın bir yapı üretir, ama parametreleri kısıtlıdır ve doğrudan bileşen varyanslarıdır.
145.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Eşit aralıklı zaman ekseni | Ardışık gözlemler arası süre sabit | Düzensiz aralıkta not yazılır (satır 105–106, 125–126); hesap sıra üzerinden yapılır |
| Bağımsız normal bozulmalar | Bileşen şokları ve düzensiz bileşen birbirinden ve zamandan bağımsız, normal | Standartlaştırılmış artıklarda Ljung–Box, Jarque–Bera, Shapiro–Wilk (satır 643–661) |
| Sabit varyans | Bozulma varyansları zamanla değişmez | Değişen varyans testi H(h) (satır 662–667) |
| Mevsim periyodu biliniyor | s dönemde bir yinelenen desen | Zaman sütunundan otomatik ya da elle; mevsimli modelde n\ge2s (satır 492–493) |
| Yeterli gözlem | Durum ve parametre sayısından fazla gözlem | n\ge durum sayısı + serbest parametre + 2 (satır 490–491) |
Eksik değer. Tahmin aralığı ilk gözlenen y'den son gözlenen y'ye uzanır; aradaki boş y satırları atılmaz, Kalman süzgeci o dönemi öngörüyle geçer (satır 449–456, 494–495). Son gözlemden sonraki boş y satırları açıklayıcı değişkenlerin gelecek değerleri olarak okunur; yalnız ardışık tam satırlar kullanılır (satır 469–479). Açıklayıcılardan biri boş olan tahmin satırları atılır ve uyarı yazılır (satır 460–465).
Uç durumlar. Zaman sütunu seçilmezse gözlem sırası kullanılır ve periyot 1 sayılır; mevsim bileşeni istenmişse uyarıyla kaldırılır (satır 442–447). Periyot elle 1 girilmişse hata verir. Tekrarlanan zaman değeri hata verir (satır 116–117). Açıklayıcılar sabitle tekil (doğrusal bağımlı) ise hata (satır 467–468). Sabit seride uyarı (satır 496–498). Kestirilecek serbest parametre yoksa (bütün bileşenler sabit, düzensiz kapalı) hata (satır 488–489). Bütün gözlemler difüz dönemde kalırsa uyarı (satır 545–546).
145.3 Parametreler
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Tarih: | ilk tarih sütunu ("(yok: gözlem sırası)" seçilebilir) | Sıralama, otomatik periyot, öngörü tarihleri | Sayısal zaman (1960,25 …) R ts zamanı gibi okunur |
| Değer: | ilk sayısal sütun | y_t | — |
| Seviye | Stokastik (varyans kestirilir) | Stokastik ya da sabit (\sigma^2_\eta=0) | Sabit seviye + eğimsiz = sabit ortalama |
| Eğim | Stokastik (varyans kestirilir) | Stokastik, sabit (\sigma^2_\zeta=0, deterministik eğilim), yok | "Yok" yerel düzey modelidir |
| Mevsimsellik | Kukla (dummy) | Kukla, trigonometrik, yok | 145.5.1 |
| Mevsim stokastik (varyans kestirilir) | açık | Kapalıyken mevsim deseni sabit | — |
| Mevsim periyodu: | Otomatik | 0 = zaman sütunundan (aylık 12, çeyreklik 4, günlük 7, saatlik 24) | — |
| Diğer bileşenler: Döngü (sönümlü, stokastik) | kapalı | \psi_t; \rho, periyot ve varyans kestirilir | 3 serbest parametre ekler |
| Diğer bileşenler: Düzensiz bileşen | açık | \varepsilon_t | Kapalıyken ölçüm hatası sıfır sayılır |
| Açıklayıcı değişkenler | hiçbiri | Durum vektörüne regresyon katsayıları | Katsayılar difüz başlar |
| Tahmin adımı: | 12 | Öngörü ufku (0–1000) | Açıklayıcı varsa gelecek değer sayısıyla sınırlı |
| Ljung-Box gecikmesi | Otomatik | 0 = mevsimli 2s, değilse 10, en çok n/5 | — |
| Güven Düzeyi: | %95 | Öngörü ve katsayı aralıkları | — |
| Seviye, mevsim ve bir adım öngörüyü veri setine kaydet | kapalı | Üç sütun ekler | — |
"Sabit" bileşen ile "yok" bileşen aynı şey mi?
Hayır. Sabit eğim (\sigma^2_\zeta=0) deterministik bir doğrusal eğilimdir: eğim kestirilir ama zamanla değişmez. Eğim "yok" ise model yalnız seviyeyle kurulur; öngörü düzleşir. Sabit seviye ve sabit eğim birlikte seçilirse model "doğrusal eğilim + gürültü" regresyonuna dönüşür. Sabit bileşen de difüz başlatılır; serbest parametre sayısı (q) azalır, difüz durum sayısı (d) azalmaz.
145.4 Tıp örneği
Tıp setinde UCM'ye ayrılmış bir dosya yoktur. Aynı setin aylık zaman serisi english/datasets/Tip/96_arima_monthly_ddd.xlsx kullanıldı; böylece sonuçlar ARIMA bölümüyle (138.4) doğrudan karşılaştırılabilir.
| Değişken | Rol | Tür | Açıklama/özet |
|---|---|---|---|
date |
Tarih | tarih (ay başı) | Ocak 2014 – Aralık 2023, 120 ay; otomatik periyot 12 |
monthly_ddd |
Değer | sürekli | Aylık DDD ilaç tüketimi; ortalama 55 616, SS 17 335 |
n=120, eksik değer yok.
Klinik soru. İlaç tüketiminin altındaki seviye zamanla nasıl değişti; mevsim deseni yıldan yıla sabit mi, yoksa değişiyor mu; uzun dönemli bir eğilim var mı?
Seçilen ayarlar. Varsayılan model çalıştırıldı: stokastik seviye, stokastik eğim, stokastik kukla mevsim (s=12), düzensiz bileşen; buna "temel yapısal model" (BSM) denir. Ek koşular: eğimsiz model (yerel seviye + mevsim), sabit eğimli model ve trigonometrik mevsimli model (dogrulama/ucm/merqur_calistir.py).
145.5 Formüller ve hesap adımları
MerQur'un hesap sırası: (1) zaman ekseni kurulur, otomatik periyot bulunur; (2) seri birinci farkının standart sapmasına bölünür; (3) durum uzayı modeli kurulur, difüz ve durağan başlangıçlar atanır; (4) bileşen varyansları (ve döngü parametreleri) kesin difüz olabilirlikle birden çok başlangıçtan en çoklanır; (5) standart hatalar sayısal Hesse matrisinden delta yöntemiyle; (6) özgün ölçekte Kalman süzgeci ve düzleştiricisi çalıştırılır; (7) bilgi ölçütleri, bileşen anlamlılığı, artık tanıları ve öngörü hesaplanır.
145.5.1 Bileşenler ve durum uzayı biçimi
Bileşenlerin geçiş denklemleri (satır 194–233, 283–306):
- \beta_t: eğim (dönem başına seviye artışı). Eğim "yok" iken bu satır ve \mu denklemindeki \beta_t yoktur.
- \gamma_t: kukla mevsim; son s mevsim etkisinin toplamı beklenen değerde sıfırdır, \omega_t bu toplamın sapmasıdır. s-1 durum taşır.
- \eta_t,\zeta_t,\omega_t: bileşen şokları; birbirinden ve \varepsilon_t'den bağımsız.
Trigonometrik mevsim. \lambda_j=2\pi j/s, j=1,\dots,\lfloor s/2\rfloor frekanslarında harmonikler; her harmonik iki durumla dönen bir çiftle yazılır, çift s'de \pi frekansı tek durumdur (toplam yine s-1 durum). Bütün harmonikler aynı varyansı paylaşır (R KFAS sea.type = "trigonometric" ile aynı; satır 209–221, 296–298):
Döngü. Sönümlü stokastik döngü, sönüm \rho\in(0{,}1), frekans \lambda_c=2\pi/p_c, periyot p_c>2:
Açıklayıcılar. \boldsymbol\beta durum vektörüne konur, geçişi birim matristir (zamanla sabit), ölçüm satırı \mathbf x_t'dir (satır 224–230). Bütün bileşenler tek bir doğrusal Gauss durum uzayı modelinde toplanır:
- \boldsymbol\alpha_t=(\mu_t,\beta_t,\gamma_t,\dots,\gamma_{t-s+2},\psi_t,\psi^*_t,\boldsymbol\beta)^{\top}: durum vektörü (koddaki düzen,
_build_layout, satır 147–162). - \mathbf Z_t: seviye, ilk mevsim durumu ve \psi_t için 1, regresyon durumları için \mathbf x_t^{\top}.
- \mathbf T: yukarıdaki geçişlerin blok köşegen birleşimi; \mathbf Q: köşegen bozulma kovaryansı.
145.5.2 Kalman süzgeci, kesin difüz başlangıç ve olabilirlik
Süzgeç. Bir adım öngörü ve güncelleme (Durbin ve Koopman 2012, bölüm 4):
- \mathbf a_t, \mathbf P_t: y_1,\dots,y_{t-1} verildiğinde durumun öngörü ortalaması ve kovaryansı.
- v_t: bir adım öngörü hatası (yenilik); F_t: varyansı.
- \mathbf K_t: Kalman kazancı. Eksik y_t'de v_t tanımsızdır; güncelleme yapılmaz (\mathbf K_t=\mathbf 0).
Kesin difüz başlangıç. Seviye, eğim, mevsim ve regresyon durumlarının başlangıç değerleri bilinmez; bunlara sonsuz varyans verilir: \mathbf P_1=\kappa\mathbf P_\infty+\mathbf P_*, \kappa\to\infty. Döngü durağandır ve durağan dağılımından başlatılır (satır 237–248). Kesin difüz süzgeç (Koopman 1997) ilk d gözlemde F_t=\kappa F_{\infty,t}+F_{*,t} ayrışımını sonlu olarak yürütür. Difüz olabilirlik:
- d: difüz başlatılan durum öğesi sayısı (döngü hariç bütün durumlar; koddaki
_n_diffuse, satır 248). BSM'de d=1+1+11=13. - F_{\infty,t}: difüz dönemde yenilik varyansının \kappa katsayısı; veriye ve varyanslara bağlı değildir, yalnız \mathbf Z ve \mathbf T'ye bağlıdır.
- n_{\text{göz}}: gözlenen (eksik olmayan) değer sayısı.
Koddaki tercih: difüz dönemde 2\pi sabiti (satır 529–543)
statsmodels'in kesin difüz süzgeci difüz dönemdeki her gözlem için de -\tfrac12\ln2\pi ekler. Durbin–Koopman (2012, §7.2.2) ve R KFAS logLik bu dönemde sabiti saymaz. Kod, F_{\infty,t}>0 olan (difüz bilgi taşıyan) gözlemler için \tfrac12\ln2\pi'yi geri ekler. F_{\infty,t}=0 olan bir gözlem difüz evrede olsa da olağan katkıyla sayılır (KFAS ile aynı). Sonuç, aynı varyanslarda KFAS ile 10^{-12} düzeyinde aynıdır (145.6.1).
145.5.3 İndirgenmiş biçim: farkı alınmış seri
BSM'nin bileşen denklemleri (1-B)(1-B^s) farkıyla durağan bir hareketli ortalama sürecine dönüşür. S(B)=1+B+\dots+B^{s-1} ve (1-B^s)=(1-B)S(B) olduğundan:
- Her terim bir şokun sonlu süzgecidir; w_t en çok s+1 gecikmeli bir MA sürecidir.
- Özkovaryans, her süzgecin katsayılarının öz-ilişkisinin varyansla ağırlıklı toplamıdır: \gamma_w(h)=\sum_c\sigma^2_c\sum_j a_{c,j}a_{c,j+h}.
Bu biçim bağımsız doğrulamanın temelidir. Difüz olabilirlik, farkı alınmış serinin kesin olabilirliğinden yalnız \ln|\det\mathbf X| kadar farklıdır; \mathbf X'in satırları \mathbf Z\mathbf T^{t-1}'dir (t=1,\dots,d):
Neden bu eşitlik?
Difüz öncül altında ilk d gözlem, bilinmeyen başlangıç durumlarını tam olarak belirler: y_{1:d}=\mathbf X\boldsymbol\alpha_1+ gürültü. Başlangıç durumları üzerinden integral alındığında geriye farkı alınmış serinin yoğunluğu ve değişken değiştirmenin Jakobiyeni |\det\mathbf X|^{-1} kalır. Jakobiyen parametrelere bağlı değildir; bu yüzden varyans kestirimlerini etkilemez ama log L'nin sayısal değerine girer. BSM, s=12'de |\det\mathbf X|=144, \ln|\det\mathbf X|=4{,}969813'tür.
145.5.4 Kestirim
Serbest parametreler varyanslar (ve döngüde \rho ile periyot) olup kısıtsız bir uzayda en iyilenir (satır 258–281):
Koddaki tercih: ölçekleme, çoklu başlangıç ve üç aşamalı eniyileme
Seri, gözlenen değerlerin birinci farkının standart sapmasına (c=\mathrm{SS}(\Delta y)) bölünür; varyanslar sonra c^2 ile, döngü parametreleri değişmeden geri çevrilir (satır 500–515). Başlangıç noktaları: varyansların toplamı ölçekli \mathrm{Var}(\Delta y)\approx1'in 1, 0,1 ve 0,01 katı olacak biçimde bileşenlere eşit paylaştırılır (düzensiz bileşen her zaman 1/varyans sayısı); döngü periyodu için 3s, 6s ve 1{,}5s (en az 2,5) denenir. Her başlangıçtan BFGS (g_{\text{tol}}=10^{-7}) → Nelder–Mead (x_{\text{tol}}=10^{-9}) → BFGS (10^{-9}) zinciri çalışır; en yüksek log L alınır (satır 326–367). Gerekçe: yapısal modellerin olabilirlik yüzeyi sıfır varyans sınırında düzdür ve tek başlangıçlı yerel arama sık sık yanlış yerel optimuma gider (R StructTS bu veride seviye varyansını sıfır, eğim varyansını çok büyük buldu).
Standart hatalar. Kısıtsız uzayda sayısal Hesse matrisi (approx_hess3) tersinir ve delta yöntemiyle kısıtlı parametrelere çevrilir (satır 370–397):
- \mathbf x: kısıtsız parametreler; \boldsymbol\theta: varyanslar, \rho, p_c.
- \mathbf J: dönüşümün Jakobiyeni (merkezi farkla, adım 10^{-6}\max(1,|x|)).
Hesse matrisi tersinmezse sözde ters alınır ve uyarı yazılır. z=\hat\theta/\mathrm{SH} ve normal yaklaşımla p verilir. Sıfıra yakın varyansta bu z ve p geçerli değildir (parametre sınırda; olağan asimptotik dağılım bozulur); çıktı notu bunu söyler.
145.5.5 Bilgi ölçütleri
Tanımlar (satır 544–552):
- q: serbest parametre sayısı (varyanslar, döngüde \rho ve periyot). Regresyon katsayıları difüz durum olduğundan q'ya değil d'ye girer.
- n^*=n_{\text{göz}}-d: difüz dönem dışındaki gözlem sayısı.
Farklı d'li modeller (ör. eğimli ve eğimsiz) arasında olabilirlikler farklı sayıda gözleme dayandığından bilgi ölçütü karşılaştırması dikkatle yapılmalıdır; KFAS da aynı tanımı kullanır.
145.5.6 Düzleştirme ve bileşenler
Durum düzleştiricisi (Durbin ve Koopman 2012, bölüm 4.4) bütün seriyi kullanarak \hat{\boldsymbol\alpha}_{t|n}=E(\boldsymbol\alpha_t\mid y_1,\dots,y_n) ve kovaryansını \mathbf V_{t|n} verir. Bileşenler bu düzleştirilmiş durumlardan okunur (satır 566–592): seviye \hat\mu_{t|n} ve SH'si \sqrt{V_{11,t|n}}, eğim \hat\beta_{t|n}, mevsim \mathbf Z^{(\gamma)}\hat{\boldsymbol\alpha}^{(\gamma)}_{t|n}, döngü \hat\psi_{t|n}, regresyon \mathbf x_t^{\top}\hat{\boldsymbol\beta}. Düzensiz bileşen y_t eksi bu sinyallerin toplamıdır. Regresyon katsayıları zamanla sabit olduğundan son düzleştirilmiş değerden okunur; SH ve %GA bu durumun düzleştirilmiş varyansındandır (satır 596–608).
Bileşenlerin anlamlılığı (son duruma dayalı; satır 610–641):
- \hat{\mathbf a}_{c,n}, \mathbf V_{c,n}: c bileşeninin son zaman noktasındaki düzleştirilmiş durum bloğu ve kovaryansı; sd blok boyutudur (seviye 1, eğim 1, kukla mevsim s-1, döngü 2).
- Düzensiz bileşen için son dönemin düzleştirilmiş ölçüm bozulması \hat\varepsilon_n^2/\mathrm{Var}(\varepsilon_n\mid Y).
Bu test "son dönemde bu bileşen sıfırdan farklı mı?" sorusunu sınar; bileşenin varyansının sıfır olup olmadığını değil.
145.5.7 Artık tanıları ve uyum
Tanılar, difüz dönem dışındaki standartlaştırılmış bir adım öngörü hatalarıyla yapılır: e_t=v_t/\sqrt{F_t} (satır 643–647).
- Ljung–Box: Q(L), gecikme otomatikte mevsimli modelde 2s, değilse 10, en çok \mathrm{round}(n_e/5); serbestlik derecesi Harvey (1990) kuralıyla L-q+1 (satır 650–659).
- Normallik: Jarque–Bera ve Shapiro–Wilk (ARIMA bölümündeki tanımlar).
- Değişen varyans: h=\mathrm{round}(n_e/3); H(h)=\sum_{\text{son }h}e_t^2\,/\sum_{\text{ilk }h}e_t^2\sim F(h,h), çift yönlü p (satır 662–667).
- Kalıntı tabanlı uyum: bir adım öngörü hatalarıyla MSE, RMSE, MAPE, R^2 (satır 669–679).
145.5.8 Öngörü
Seri h boş değerle uzatılır; Kalman süzgeci bu dönemleri eksik gözlem gibi geçer (satır 517–527). Öngörü ve varyansı süzgecin bir adım öngörüsüdür (satır 681–689):
Bu bir öngörü aralığıdır: düzensiz bileşen varyansını da içerir. Parametre belirsizliği (varyans kestirimlerinin hatası) içermez; KFAS predict(interval = "prediction") ile aynıdır.
145.6 Elle hesap: Tıp verisinde sayısal yürüyüş
Elle hesap, MerQur kodu ve hiçbir Kalman kütüphanesi çağrılmadan dogrulama/ucm/elle_hesap.py ve elle_adimlar.py ile yapıldı; 145.5.3'teki indirgenmiş biçim kullanıldı.
Adım 1 — Fark alma. w_t=(1-B)(1-B^{12})y_t; n^*=120-13=107. İlk değerler w_{14}=-8533, w_{15}=2180, w_{16}=-2695.
Adım 2 — Süzgeç katsayıları. Dört bileşenin w_t'deki süzgeçleri:
- düzensiz: (1-B)(1-B^{12})=1-B-B^{12}+B^{13};
- seviye: 1-B^{12};
- eğim: 1+B+\dots+B^{11} (12 tane 1);
- mevsim: (1-B)^2=1-2B+B^2.
Adım 3 — Özkovaryans. Birim varyanslı süzgeçlerin öz-ilişkileri, gecikme 0, 1, 2, 11, 12, 13 için: düzensiz (4,-2{,}0{,}1,-2{,}1); seviye (2{,}0{,}0{,}0,-1{,}0); eğim (12{,}11{,}10{,}1{,}0{,}0); mevsim (6,-4{,}1{,}0{,}0{,}0). Kestirilen varyanslarla (\hat\sigma^2_\varepsilon=2\,574\,029, \hat\sigma^2_\eta=14\,171\,927, \hat\sigma^2_\zeta\approx0, \hat\sigma^2_\omega=802{,}3):
\gamma_w(13)=\hat\sigma^2_\varepsilon=2\,574\,029; h\ge14'te sıfır.
Adım 4 — Kesin olabilirlik. 107\times107 Toeplitz kovaryans \boldsymbol\Gamma ile \ln|\boldsymbol\Gamma|=1820{,}7355, \mathbf w^{\top}\boldsymbol\Gamma^{-1}\mathbf w=107{,}0000 (en çok olabilirlik noktasında n^*'a eşittir):
Adım 5 — Difüz sabit. \mathbf X'in satırları \mathbf Z\mathbf T^{t-1}, t=1,\dots,13; |\det\mathbf X|=144, \ln144=4{,}9698:
MerQur ve KFAS -1067{,}163987 verir.
Adım 6 — Yorum. Seviye varyansı düzensiz bileşenin 5,5 katıdır: seviye aydan aya belirgin kayıyor. Eğim varyansı sıfırdadır: eğim sabit (deterministik eğilim). Mevsim varyansı düzensizin binde 0,3'üdür: mevsim deseni on yıl boyunca neredeyse sabit. Bu, ARIMA bölümündeki havayolu modelinde \hat\Theta_1=-0{,}62 ile aynı yönde bir bulgudur.
Adım 7 — Bilgi ölçütleri. q=4, d=13, n^*=107: \mathrm{AIC}=2134{,}3280+8=2142{,}3280; \mathrm{BIC}=2134{,}3280+4\ln107=2153{,}0193; \mathrm{AICC}=2134{,}3280+\tfrac{2\cdot4\cdot107}{102}=2142{,}7201.
Adım 8 — Öngörü. Farkı alınmış serinin en iyi doğrusal öngörücüsü ve (1-B)(1-B^{12})'nin tersiyle tümleme: \hat y_{121}=79\,636{,}73, \mathrm{SH}_1=4592{,}28; \hat y_{132}=88\,810{,}06, \mathrm{SH}_{12}=13\,876{,}48. %95 alt sınır h=1: 79\,636{,}73-1{,}959964\cdot4592{,}28=70\,636{,}02.
Şekil 145.1. Tıp #96 temel yapısal model. Üst: gözlenen seri (gri) ve düzleştirilmiş seviye ile %95 bandı (mor). Alt: düzleştirilmiş kukla mevsim bileşeni; desen on yıl boyunca neredeyse aynıdır (\hat\sigma^2_\omega\approx802).
145.6.1 Doğrulama: MerQur, Python ve R
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 (KFAS) | En büyük fark | Durum |
|---|---|---|---|---|---|
| BSM: \sigma^2 düzensiz | 2574029,53 | 2574029,40 | 2574027,04 | 9,7e−07 | ✓ (tol 2e−6 göreli, R optim) |
| BSM: \sigma^2 seviye | 14171926,27 | 14171926,59 | 14171928,24 | 1,4e−07 | ✓ |
| BSM: \sigma^2 eğim | 0,00 | 0,00 | 0,01 | 8,9e−03 | ✓ (tol 0,01 mutlak, sınır σ² = 0) |
| BSM: \sigma^2 mevsim | 802,32 | 802,35 | 802,39 | 8,4e−05 | ✓ (tol 1e−4 göreli, düz yön) |
| BSM: log L | −1067,163987 | −1067,163987 | −1067,163988 | 3,3e−10 | ✓ |
| BSM: AIC | 2142,3280 | 2142,3280 | — | 4,2e−16 | ✓ |
| BSM: BIC | 2153,0193 | 2153,0193 | — | 4,2e−16 | ✓ |
| BSM: AICC | 2142,7201 | 2142,7201 | — | 4,2e−16 | ✓ |
| BSM: log L (aynı parametre) | −1067,163987 | −1067,163987 | −1067,163987 | 4,0e−15 | ✓ |
| BSM: öngörü h=1 (aynı parametre) | 79636,7267 | 79636,7267 | 79636,7267 | 3,7e−16 | ✓ |
| BSM: öngörü h=12 (aynı parametre) | 88810,0628 | 88810,0628 | 88810,0628 | 4,9e−16 | ✓ |
| BSM: öngörü SH h=12 (aynı parametre) | 13876,4824 | 13876,4824 | — | 0,0e+00 | ✓ |
| BSM: %95 alt sınır h=12 (aynı parametre) | 61612,6571 | 61612,6571 | 61612,6571 | 1,5e−15 | ✓ |
| BSM: düzleştirilmiş seviye \hat\mu_{n|n} | 65132,5822 | — | 65132,5822 | 4,5e−16 | ✓ |
| BSM: düzleştirilmiş seviye \hat\mu_{1|n} | 35333,3636 | — | 35333,3636 | 3,1e−15 | ✓ |
| BSM: seviye SH, t=n | 1918,8016 | — | 1918,8016 | 2,3e−15 | ✓ |
| BSM: düzleştirilmiş mevsim, t=n | 20672,5174 | — | 20672,5174 | 1,6e−15 | ✓ |
| Yerel seviye + mevsim: \sigma^2 düzensiz | 2671666,15 | 2671666,07 | 2671650,03 | 6,0e−06 | ✓ (tol 1e−4 göreli, R optim) |
| Yerel seviye + mevsim: \sigma^2 seviye | 13907065,91 | 13907064,08 | 13907069,74 | 4,1e−07 | ✓ (tol 1e−4 göreli, R optim) |
| Yerel seviye + mevsim: \sigma^2 mevsim | 2621,00 | 2621,13 | 2623,56 | 9,8e−04 | ✓ (tol 2e−3 göreli, düz yön) |
| Yerel seviye + mevsim: log L | −1074,188284 | −1074,188284 | −1074,188284 | 7,0e−14 | ✓ |
| Yerel seviye + mevsim: AIC | 2154,3766 | 2154,3766 | — | 4,2e−16 | ✓ |
| Yerel seviye + mevsim: BIC | 2162,4230 | 2162,4230 | — | 4,2e−16 | ✓ |
| Yerel seviye + mevsim: AICC | 2154,6073 | 2154,6073 | — | 4,2e−16 | ✓ |
| Yerel seviye + mevsim: log L (aynı parametre) | −1074,188284 | −1074,188284 | −1074,188284 | 4,9e−15 | ✓ |
| Yerel seviye + mevsim: öngörü h=1 (aynı parametre) | 79322,7236 | 79322,7236 | 79322,7236 | 1,1e−15 | ✓ |
| Yerel seviye + mevsim: öngörü h=12 (aynı parametre) | 85780,2684 | 85780,2684 | 85780,2684 | 0,0e+00 | ✓ |
| Yerel seviye + mevsim: öngörü SH h=12 (aynı parametre) | 13110,7057 | 13110,7057 | — | 1,4e−16 | ✓ |
| Yerel seviye + mevsim: %95 alt sınır h=12 (aynı parametre) | 60083,7574 | 60083,7574 | 60083,7574 | 8,5e−16 | ✓ |
| Yerel seviye + mevsim: düzleştirilmiş seviye \hat\mu_{n|n} | 65085,5083 | — | 65085,5083 | 3,4e−16 | ✓ |
| Yerel seviye + mevsim: düzleştirilmiş seviye \hat\mu_{1|n} | 35447,3082 | — | 35447,3082 | 4,1e−16 | ✓ |
| Yerel seviye + mevsim: seviye SH, t=n | 1930,0565 | — | 1930,0565 | 9,4e−16 | ✓ |
| Yerel seviye + mevsim: düzleştirilmiş mevsim, t=n | 20694,7601 | — | 20694,7601 | 8,8e−16 | ✓ |
| BSM, sabit eğim: \sigma^2 düzensiz | 2574029,27 | 2574029,27 | — | 4,6e−10 | ✓ |
| BSM, sabit eğim: \sigma^2 seviye | 14171927,03 | 14171926,98 | — | 3,1e−09 | ✓ |
| BSM, sabit eğim: \sigma^2 mevsim | 802,29 | 802,30 | — | 1,6e−05 | ✓ (tol 1e−4 göreli, düz yön) |
| BSM, sabit eğim: log L | −1067,163987 | −1067,163987 | −1067,163987 | 6,2e−12 | ✓ |
| BSM, sabit eğim: AIC | 2140,3280 | 2140,3280 | — | 2,1e−16 | ✓ |
| BSM, sabit eğim: BIC | 2148,3465 | 2148,3465 | — | 2,1e−16 | ✓ |
| BSM, sabit eğim: AICC | 2140,5610 | 2140,5610 | — | 2,1e−16 | ✓ |
| BSM, sabit eğim: log L (aynı parametre) | −1067,163987 | −1067,163987 | −1067,163987 | 3,6e−15 | ✓ |
| BSM, sabit eğim: öngörü h=1 (aynı parametre) | 79636,7267 | 79636,7267 | 79636,7267 | 1,8e−16 | ✓ |
| BSM, sabit eğim: öngörü h=12 (aynı parametre) | 88810,0628 | 88810,0628 | 88810,0628 | 9,8e−16 | ✓ |
| BSM, sabit eğim: öngörü SH h=12 (aynı parametre) | 13876,4828 | 13876,4828 | — | 1,3e−16 | ✓ |
| BSM, sabit eğim: %95 alt sınır h=12 (aynı parametre) | 61612,6564 | 61612,6564 | 61612,6564 | 1,2e−15 | ✓ |
| BSM, sabit eğim: düzleştirilmiş seviye \hat\mu_{n|n} | 65132,5822 | — | 65132,5822 | 1,0e−15 | ✓ |
| BSM, sabit eğim: düzleştirilmiş seviye \hat\mu_{1|n} | 35333,3633 | — | 35333,3633 | 2,3e−15 | ✓ |
| BSM, sabit eğim: seviye SH, t=n | 1918,8015 | — | 1918,8015 | 1,5e−15 | ✓ |
| BSM, sabit eğim: düzleştirilmiş mevsim, t=n | 20672,5173 | — | 20672,5173 | 5,3e−16 | ✓ |
| BSM, trigonometrik mevsim: log L (aynı parametre) | −1075,849766 | — | −1075,849766 | 4,6e−15 | ✓ |
| BSM, trigonometrik mevsim: öngörü h=12 | 88470,8571 | — | 88470,8571 | 9,9e−16 | ✓ |
Python sütunu indirgenmiş biçimin kesin olabilirliğidir (Kalman kullanmaz). R sütunu KFAS 1.6.0'dır: varyans satırlarında fitSSM serbest kestirimi (BFGS, üç başlangıç), öteki satırlarda MerQur varyanslarıyla aynı parametrede logLik, KFS ve predict. KFAS kovaryanslarda 10^7 üst sınırı uyguladığından R'da seri 1000'e bölündü; varyanslar 10^6, öngörüler 1000 ile, log L ise (n-d)\ln1000 düşülerek özgün ölçeğe çevrildi. Aynı parametrede MerQur ile KFAS log L'si 10^{-12}, bileşenler ve öngörüler 10^{-10} düzeyinde aynıdır; MerQur ile bağımsız Python log L'si 10^{-15} düzeyinde aynıdır. Serbest kestirimde MerQur'un log L'si KFAS'ınkinden her modelde büyük ya da eşittir. Mevsim varyansında tolerans gevşetildi: SH yaklaşık 210 000 olan bu parametrede olabilirlik neredeyse düzdür. Sabit eğimli modelde KFAS fitSSM mevsim varyansını 826 bulup log L'si 7\times10^{-9} düşük bir noktada durdu; bu satırın R hücresi boş bırakıldı.
145.7 Çıktıyı okuma
Tıp #96, varsayılan BSM (kısaltılmış gerçek çıktı; parametre tablosu düzeltilmiş sütun aralığıyla gösterildi):
GÖZLENEMEYEN BİLEŞENLER MODELİ (yapısal zaman serisi, kesin difüz en çok olabilirlik)
Model: stokastik seviye, stokastik eğim, kukla mevsim (s = 12), düzensiz bileşen
Gözlem (eksik olmayan): 120
── Serbest parametrelerin son kestirimleri ──
Bileşen Parametre Kestirim Yakl. SH z p
Düzensiz Hata varyansı 2574029.532288 2244653.164439 1.15 0.2515
Seviye Hata varyansı 1.417193e+07 3770631.761483 3.76 < .001
Eğim Hata varyansı 3.655288e-09 0.013603 0.00 1.0000
Mevsim Hata varyansı 802.320480 209570.912083 0.00 0.9969
── Olabilirlik tabanlı uyum ──
Tam log olabilirlik: -1067.1640
Kestirilen parametre (q): 4 Difüz başlatılan durum öğesi (d): 13
AIC = 2142.3280 AICC = 2142.7201 BIC = 2153.0193 HQIC = 2146.6621
Bir adım öngörü hatalarına göre: MSE = 2.4105e+07, RMSE = 4909.6864, MAPE = 8.049, R² = 0.9186 (n = 107)
── Bileşenlerin anlamlılığı (son duruma göre) ──
Bileşen df χ² p
Düzensiz 1 0.11 0.7439
Seviye 1 1152.22 < .001
Eğim 1 0.52 0.4689
Mevsim 11 556.01 < .001
── Artık tanısı (standartlaştırılmış bir adım öngörü hataları, difüz dönem hariç) ──
Ljung-Box Q(21) = 29.0047, df = 18, p = 0.0483
Jarque-Bera = 1.2002, p = 0.5488; Shapiro-Wilk W = 0.9888, p = 0.5184
H(36) = 1.6339, p = 0.1455
── Öngörü ──
Zaman Öngörü Yakl. SH %95 GA
2024-01-01 79636.7267 4592.2805 [70636.0223, 88637.4312]
2024-12-01 88810.0628 13876.4824 [61612.6571, 116007.4686]
| Satır/Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Hata varyansı (her bileşen) | \hat\sigma^2_c | Büyük: bileşen hızlı değişir; sıfıra yakın: bileşen sabit |
| Yakl. SH, z, p | Hesse matrisinden | Sınırdaki varyansta güvenilmez (eğim, mevsim) |
| Tam log olabilirlik, q, d | 145.5.2 | KFAS ile aynı tanım |
| AIC, AICC, BIC, HQIC | 145.5.5 | Aynı d'li modeller arasında karşılaştırın |
| Kalıntı tabanlı uyum | Bir adım hatalarıyla | Difüz dönem (ilk 13 ay) hariç |
| Bileşenlerin anlamlılığı | Son durum \chi^2 | Seviye ve mevsim son dönemde sıfırdan belirgin farklı; eğim (0,52) değil |
| Ljung–Box | sd =L-q+1 | p=0{,}048: sınırda bir kalan otokorelasyon |
| H(h) | Değişen varyans | p=0{,}146: varyans değişimi yok |
| Öngörü, Yakl. SH, GA | 145.5.8 | Ufuk uzadıkça seviye belirsizliği birikir |
APA biçiminde rapor cümlesi.
Aylık DDD tüketimi (n=120) stokastik seviye, stokastik eğim, kukla mevsim (s=12) ve düzensiz bileşenli yapısal zaman serisi modeliyle kesin difüz en çok olabilirlik yöntemiyle modellendi (log L=-1067{,}16, AIC =2142{,}33, BIC =2153{,}02). Seviye varyansı belirgin biçimde sıfırdan büyüktü (\hat\sigma^2_\eta=1{,}42\times10^7, SH =3{,}77\times10^6); eğim varyansı sıfırdı ve mevsim varyansı ihmal edilebilir düzeydeydi (\hat\sigma^2_\omega=802), yani eğilim deterministik, mevsim deseni yıldan yıla sabitti. Standartlaştırılmış artıklarda normallikten sapma yoktu (Jarque–Bera =1{,}20, p=0{,}549), Ljung–Box testi sınırda anlamlıydı, Q(21)=29{,}00, sd =18, p=0{,}048. Ocak 2024 için öngörü 79 637 DDD'dir (%95 öngörü aralığı 70 636 – 88 637).
145.8 Uzman soruları
S1. "Kesin difüz" ile R `StructTS`'in yaklaşık difüz başlangıcı arasında fark ne?
StructTS başlangıç durumlarına büyük ama sonlu bir varyans verir (10^6\cdot\mathrm{Var}(y)) ve bütün gözlemleri olabilirliğe katar. Kesin difüz süzgeç \kappa\to\infty limitini analitik olarak alır ve ilk d gözlemi yalnız F_{\infty,t} terimiyle sayar. Sonuçlar genellikle yakındır ama aynı değildir; ayrıca StructTS tek başlangıçlı L-BFGS-B kullanır. Tıp #96'da StructTS seviye varyansını sıfır, eğim varyansını çok büyük buldu: farklı ve daha kötü bir yerel optimum. KFAS kesin difüz tanımı kullanır; MerQur onunla aynıdır.
S2. Difüz dönemde 2\pi sabiti neden düşülüyor; log L neden statsmodels'in `llf`'inden farklı?
Durbin–Koopman tanımında difüz gözlemlerin katkısı yalnız -\tfrac12\ln F_{\infty,t}'dir. statsmodels bu gözlemlere de -\tfrac12\ln2\pi ekler. MerQur, KFAS ile aynı sayıyı vermek için F_{\infty,t}>0 olan gözlemlerde sabiti geri ekler (BSM'de 13 gözlem; fark 13\cdot0{,}9189=11{,}95). Varyans kestirimleri etkilenmez; yalnız log L, AIC ve BIC'in sayısal değeri değişir.
S3. Eğim varyansı 3{,}7\times10^{-9}, p=1{,}00. "Eğim yok" sonucu mu çıkar?
Hayır. Varyansın sıfır olması eğimin zamanla değişmediğini söyler; eğimin kendisi sıfır değildir. Eğimin değeri son durum anlamlılık tablosunda sınanır (\chi^2=0{,}52, p=0{,}47): son dönemdeki eğim sıfırdan farklı değildir. Sıfır sınırındaki bir varyansın Wald z testi geçersizdir (parametre uzayının sınırında asimptotik dağılım yarım normal karışımıdır); sabit eğimli modelle olabilirlik oranı karşılaştırması daha uygundur. Tıp #96'da sabit eğimli model aynı log L'yi verir (-1067{,}163987), AIC 2'den fazla düşer (2140,33).
S4. Bileşen anlamlılığı (\chi^2) ile varyans testi aynı şeyi mi sınıyor?
Hayır. \chi^2_c=\hat{\mathbf a}^{\top}\mathbf V^{-1}\hat{\mathbf a} bileşenin son dönemdeki değerinin sıfır olup olmadığını sınar: mevsim için "son yılın mevsim etkileri hep sıfır mı?". Varyans ise bileşenin değişkenliğini ölçer. Mevsim varyansı neredeyse sıfır ama mevsim \chi^2=556 ile çok anlamlıdır: mevsim güçlü ve sabittir.
S5. Ljung–Box serbestlik derecesi neden L-q+1?
Harvey (1990) yapısal modellerde q hiperparametre kestirildiğinde Q(L)'nin yaklaşık \chi^2_{L-q+1} dağıldığını önerir; STAMP ve Commandeur–Koopman (2007) bu kuralı kullanır. ARIMA'daki L-K kuralı (K: AR+MA katsayısı) doğrudan karşılığı değildir, çünkü UCM'nin hiperparametreleri artık otokorelasyonunu ARMA katsayıları gibi kısıtlamaz. R Box.test(fitdf = q) kullanılırsa sd L-q olur ve p biraz değişir.
S6. Neden seri \mathrm{SS}(\Delta y)'ye bölünüyor da \mathrm{SS}(y)'ye bölünmüyor?
Bileşen varyansları farkların ölçeğindedir: seviye şoku \eta_t, \Delta y'nin içinde doğrudan görünür. \mathrm{SS}(y) eğilim ve mevsimle şişer, varyansları çok küçük sayılara iter. \Delta y ile ölçekleme başlangıç noktalarını (\mathrm{Var}(\Delta y)\approx1) anlamlı kılar. Sonuçlar ölçekten bağımsızdır; yalnız eniyileyicinin başlangıcı değişir.
S7. Trigonometrik ve kukla mevsim farklı sonuç veriyor (log L -1075{,}85 ve -1067{,}16). Hangisi seçilmeli?
İki biçim de s-1 durum taşır; deterministik durumda aynı mevsim desenini kurarlar. Stokastik durumda farklı değişim modelleri tanımlarlar: kukla biçimde tek şok toplamı bozar, trigonometrik biçimde her harmoniğe aynı varyanslı ayrı şok gelir. d ve q aynı olduğundan AIC ile karşılaştırılabilirler; Tıp #96'da kukla biçim belirgin üstündür (AIC 2142,33 / 2159,70). KFAS iki biçimi de aynı tanımla sunar.
S8. Açıklayıcı değişkenin katsayısı neden "son düzleştirilmiş değer"?
Regresyon katsayıları durum vektöründedir, geçişleri birimdir ve şoksuzdur; zamanla sabittir. Düzleştirilmiş değer her t'de aynıdır ve bütün veriyi kullanan GLS kestirimine eşittir. SH bu durumun düzleştirilmiş varyansından gelir; varyans parametrelerinin kestirim belirsizliğini içermez (KFAS ile aynı).
S9. Öngörü aralığı parametre belirsizliğini içeriyor mu?
Hayır. \mathrm{SH}_j=\sqrt{F_{n+j}} varyanslar bilinir sayılarak hesaplanır; durum belirsizliğini ve düzensiz bileşeni içerir. Kısa serilerde ve sınırdaki varyanslarda aralık iyimser olabilir. KFAS ve R StructTS aynı tanımı kullanır.
145.9 Sık hatalar ve tuzaklar
- Sıfır varyansı "bileşen yok" diye okumak. Sıfır varyans bileşenin sabit olduğunu söyler; bileşenin büyüklüğü ayrı sınanır (S3, S4).
- Sınırdaki varyansın z ve p değerine güvenmek. Eğim ve mevsim varyansının p değerleri (1{,}00; 0{,}997) anlamsızdır.
- Farklı d'li modelleri AIC ile kıyaslamak. Eğimsiz modelde d=12, eğimlide d=13'tür; olabilirlikler farklı sayıda gözleme dayanır.
- Periyodun zaman sütunundan okunamaması. Düzensiz tarihlerde periyot 1 sayılır ve mevsim kaldırılır; periyot elle girilmelidir.
- Zaman sütunu seçmeden çalıştırmak. Sıra kullanılır, periyot 1 olur; mevsimli model istenmişse uyarıyla mevsimsiz kurulur.
- Açıklayıcıların gelecek değerlerini vermemek. Öngörü ufku gelecekteki tam açıklayıcı satırı sayısıyla sınırlanır; hiç yoksa öngörü yapılmaz.
- Düzensiz bileşeni kapatmak. Ölçüm hatası sıfır sayılır; bütün oynaklık bileşen şoklarına yüklenir ve seviye çok oynak çıkar.
- Döngüyü gereksiz eklemek. Döngü üç parametre ekler, olabilirlik yüzeyi çok tepeli olur; kısa serilerde mevsimle karışabilir.
145.10 Kaynaklar
- Commandeur, J. J. F., & Koopman, S. J. (2007). An introduction to state space time series analysis. Oxford University Press.
- de Jong, P. (1991). The diffuse Kalman filter. The Annals of Statistics, 19(2), 1073–1083. https://doi.org/10.1214/aos/1176348139
- Durbin, J., & Koopman, S. J. (2012). Time series analysis by state space methods (2. baskı). Oxford University Press. https://doi.org/10.1093/acprof:oso/9780199641178.001.0001
- Francke, M. K., Koopman, S. J., & de Vos, A. F. (2010). Likelihood functions for state space models with diffuse initial conditions. Journal of Time Series Analysis, 31(6), 407–414. https://doi.org/10.1111/j.1467-9892.2010.00673.x
- Harvey, A. C. (1990). Forecasting, structural time series models and the Kalman filter. Cambridge University Press. https://doi.org/10.1017/CBO9781107049994
- Helske, J. (2017). KFAS: Exponential family state space models in R. Journal of Statistical Software, 78(10), 1–39. https://doi.org/10.18637/jss.v078.i10
- Kalman, R. E. (1960). A new approach to linear filtering and prediction problems. Journal of Basic Engineering, 82(1), 35–45. https://doi.org/10.1115/1.3662552
- Koopman, S. J. (1997). Exact initial Kalman filtering and smoothing for nonstationary time series models. Journal of the American Statistical Association, 92(440), 1630–1638. https://doi.org/10.1080/01621459.1997.10473685