150. Tahmin Doğruluğu Karşılaştırması (Diebold–Mariano)
Analiz kimliği: tahmin_karsilastirma · Menü adı: Tahmin Doğruluğu Karşılaştırma (Diebold-Mariano) · Panel: gui/panels/analyses/tahmin_karsilastirma_panel.py · Motor: stats/tahmin_karsilastirma.py, tahmin_karsilastir (satır 468–); doğruluk ölçüleri dogruluk (151–159); Diebold–Mariano dm_d (168–206); Giacomini–White gw_d (209–237); birleştirme birlestir (270–297); kayan başlangıç kayan_hatalar (354–374)
150.1 Ne işe yarar
İki ya da daha çok tahmin yönteminden hangisinin gerçekten daha doğru olduğunu sınar. RMSE'nin küçük çıkması yetmez; fark rastlantı olabilir. Diebold–Mariano (DM) testi, iki yöntemin beklenen kaybının eşit olduğunu sınar:
- L(\cdot): kayıp işlevi (kare hata, mutlak hata, yüzde hata, kare yüzde hata ya da kullanıcı ifadesi).
- d_t<0 ortalamada ise birinci yöntem daha az kayıplıdır.
Analiz şunları da verir: doğruluk ölçüleri (ME, RMSE, MAE, MAPE, MASE), Giacomini–White (2006) koşullu öngörü yeteneği testi, tahmin birleştirme (eşit, ters MSE, EKK ağırlıkları) ve kayan ya da genişleyen başlangıçlı tahmin hataları (naif, mevsimsel naif, ortalama, drift, basit ve doğrusal eğilimli üstel düzleştirme, ARIMA).
Ne zaman kullanılır? Aynı hedefe yönelik iki ya da daha çok modelin dışarıdan (örneklem dışı) tahminleri varsa: enflasyon tahmini için iki model, ya da kendi modelinizi naif ölçüt modelle karşılaştırma.
Ne zaman kullanılmaz?
- Tahminler örneklem içi uyum ise: DM örneklem dışı tahminler içindir.
- Tek bir modelin parametrelerini sınamak istiyorsanız: Nedensellik (147).
- Yeni bir modelin tahmin gücünü doğrudan kestirmek istiyorsanız: ARIMA (138) ya da ETS (139).
Sık karıştırılan analizler. DM, iki yöntemin tahmin hatalarını karşılaştırır; model seçim ölçütleri (AIC) uyum karşılaştırır. Giacomini–White DM'nin koşullu uzantısıdır: farkın zaman içinde öngörülebilir olup olmadığını da sınar.
150.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Kayıp farkı durağan | d_t ortalaması ve otokovaryansı zamanla değişmez. | Denetlenmez. |
| h adımlı hatalar (h-1) derece bağımlı | h ilerisi tahmin hataları MA(h-1). | Varyans h-1 gecikmeyle hesaplanır. |
| Yeterli gözlem | n\ge8. | N_MIN; n yetersizse hata. |
| Tahminler gerçekten örneklem dışı | Aynı gözlemler modelin uyumunda kullanılmamış. | Denetlenmez. |
Eksik değer. Gerçek değer ya da tahmin sütunlarında eksik olan satırlar birlikte atılır (_temizle, 439–465). Uç durumlar: negatif ya da sıfır uzun dönem varyansı: dikdörtgen kestirici negatif varyans verirse h=1 ile yeniden hesaplanır ve uyarı yazılır (dm_d, 183–185). n+1-2h+h(h-1)/n\le0 ise düzeltme tanımsızdır (hln_n). Kullanıcı kayıp ifadesi kısıtlı bir değerlendiricidedir (yalnız aritmetik, karşılaştırma, izinli işlevler; _ifade_degerle).
150.3 Parametreler
Varsayılanlar tahmin_karsilastirma_panel.py içindeki read_options kodundan okunmuştur.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Veri biçimi | Hazır tahmin sütunları | Hazır sütunlar ya da kayan başlangıçlı tahmin. | İkincisinde modeller çalıştırılır. |
| Gerçek değer sütunu | — | Gözlenen değerler. | — |
| Tahmin sütunları (en az 2) | — | Her yöntem için bir sütun. | Yöntem sırası "ilk / ikinci" sırasıdır. |
| Tahmin ufku h | 1 | Sütunlardaki tahminlerin adım ilerisi. | h>1 ise DM varyansı h-1 gecikmeyle. |
| Kayıp işlevi | Kare hata | Kare, mutlak, yüzde, kare yüzde, özel. | DM'nin sınadığı kayıp. |
| Karşı hipotez | İki yönlü | İki yönlü ya da tek yönlü. | p ve karar. |
| Küçük örneklem düzeltmesi (HLN) | açık | t(n-1) ve düzeltme çarpanı. | Statistik ve p. |
| Uzun dönem varyans tahmincisi | Dikdörtgen | Dikdörtgen (h-1 gecikme) ya da Bartlett. | h>1 iken fark. |
| Giacomini–White | kapalı | Koşullu test. | Ek tablo. |
| Giacomini–White araçları | Sabit ve gecikmeli kayıp farkı | Ya da yalnız sabit. | Test serbestlik derecesi. |
| Birleştirme | kapalı | Eşit, ters MSE, EKK. | Birleşik tahmin ek bir yöntem olur. |
| EKK sabit terim | açık | Granger–Ramanathan (1984) önerisi. | Ağırlıklar. |
| EKK ağırlık toplamı 1 | kapalı | Kısıtlı biçim. | Ağırlıklar. |
| Ağırlıkları geçmişten kestir | kapalı | Özyinelemeli birleştirme. | Birleşik doğruluk dürüst. |
| Başlangıç penceresi, pencere türü, adım, ufuk, m | 0, genişleyen, 1, 3, 1 | Kayan başlangıç modunda. | Hata dizisi. |
| ARIMA A, B | boş | (p,d,q). | Ek yöntem. |
150.4 Veri örneği
Tıp veri setinde tahmin karşılaştırılacak örneklem dışı seriler bulunmadığından, MerQur test klasöründeki sentetik veri kullanılır (tests/data/v280_tahmin_sentetik.csv): y (gerçek), f1, f2 (iki yöntemin h=2 adım ilerisi tahminleri), n=150.
Soru: f_1 ile f_2'nin tahmin kayıpları anlamlı biçimde farklı mı; f_1 ile f_2'yi birleştirmek doğruluğu artırır mı? Ayarlar: kare hata, h=2, HLN açık, dikdörtgen varyans, Giacomini–White açık, birleştirme eşit ve EKK.
150.5 Formüller ve hesap adımları
150.5.1 Doğruluk ölçüleri
e_t=y_t-f_t:
\hat s_m: eğitim serisinde (mevsimsel) naif tahminin ortalama mutlak hatası, \hat s_m=\frac{1}{n-m}\sum|y_t-y_{t-m}| (Hyndman ve Koehler, 2006). Herhangi bir y_t=0 ise MAPE hesaplanmaz (NA).
150.5.2 Diebold–Mariano
\gamma_k, d_t'nin k. otokovaryansı. Dikdörtgen kestirici:
Bartlett seçilirse \gamma_k ağırlığı 1-k/h'dır. HLN düzeltmesi (Harvey, Leybourne ve Newbold, 1997):
Düzeltme kapalıysa p standart normal dağılımdan alınır. Tüm tanımlar R forecast::dm.test ile aynıdır (dm_d, 168–206).
Neden HLN?
Küçük örneklemde ve h>1 iken DM istatistiği aşırı reddeder (boyutu bozulur). HLN çarpanı ve t(n-1) dağılımı bunu giderir; h=1'de çarpan \sqrt{(n-1)/n}'dir.
150.5.3 Giacomini–White
Z_t=h_t d_t araç değişkenli: h_t=(1,d_{t-h}). \bar Z=\frac{1}{n}\sum Z_t, \hat\Omega Bartlett ağırlıklı HAC (gecikme h-1):
q araç sayısıdır (koşullu: 2; yalnız sabit: 1). H_0: kayıp farkı araçlarla ilişkisizdir (gw_d, 209–237).
150.5.4 Birleştirme
- Eşit: w_j=1/M.
- Ters MSE: w_j=\mathrm{MSE}_j^{-1}/\sum\mathrm{MSE}^{-1} (Bates ve Granger, 1969).
- EKK (Granger ve Ramanathan, 1984): y_t=c+\sum w_jf_{jt}+u_t; sabit ve ağırlık toplamı kısıtı isteğe bağlı. Birleşik tahmin \hat y=c+Fw (
_agirlik, 240–267). - Özyinelemeli: t anındaki ağırlıklar yalnız s\le t-h gözlemleriyle kestirilir; çünkü h adım ilerisi tahminin hatası ancak t-h+h'de bilinir (
birlestir, 270–297).
Koddaki tercih: ağırlıklar tüm örneklemden kestirilirse doğruluk iyimserdir
Varsayılanda birleştirme ağırlıkları tüm değerlendirme örnekleminden kestirilir; birleşik tahminin doğruluğu bu yüzden iyimser olur (özellikle EKK). Dürüst karşılaştırma için "ağırlıkları yalnız geçmişten kestir" seçilir (çıktıdaki not).
150.6 Elle hesap
Bağımsız numpy betiği (dogrulama/cilt9/tahmin.py).
Adım 1 — Kayıp farkı. e_{1t}=y_t-f_{1t}, e_{2t}=y_t-f_{2t}, d_t=e_{1t}^2-e_{2t}^2; n=150, \bar d=-0{,}495411. RMSE: f_1=0{,}61215, f_2=0{,}93281.
Adım 2 — Varyans (h=2). \hat\gamma_0=1{,}572902, \hat\gamma_1=-0{,}012157; \hat V=(\hat\gamma_0+2\hat\gamma_1)/150=0{,}01032393.
Adım 3 — DM. DM=\bar d/\sqrt{\hat V}=-4{,}87577; HLN çarpanı \sqrt{0{,}980089}; DM^*=-4{,}82699; p=2\,P(t_{149}<-4{,}82699)=3{,}40\times10^{-6}.
Adım 4 — Giacomini–White. n=148, GW=17{,}6235, q=2, p=0{,}000149.
Adım 5 — EKK birleştirme. c=0{,}072383, w=(0{,}691967;\ 0{,}303135), birleşik RMSE =0{,}509967.
150.6.1 Doğrulama: MerQur, Python ve R
| Büyüklük | MerQur | Bağımsız Python | R (forecast::dm.test) |
Sonuç |
|---|---|---|---|---|
| DM (f_1/f_2, h=2, HLN) | −4,827 | −4,826987 | −4,826987 | ✓ |
| p | <,0001 | 3,40e−6 | 3,399884e−6 | ✓ |
| Giacomini–White \chi^2(2) | 17,624 | 17,62355 | — | ✓ |
| EKK ağırlıkları (c, w_1, w_2) | 0,0724; 0,6920; 0,3031 | 0,072383; 0,691967; 0,303135 | — | ✓ |
| RMSE (f_1, f_2, birleşik EKK) | 0,6122; 0,9328; 0,5100 | aynı | — | ✓ |
R 4.5.3 ve forecast paketiyle bu çalışmada çalıştırıldı (dogrulama/cilt9/tahmin.R; dm.test(h = 2, power = 2, varestimator = "acf")).
150.7 Çıktıyı okuma
DOĞRULUK ÖLÇÜLERİ (hata = gerçek - tahmin)
Yöntem n ME RMSE MAE MAPE (%) MASE
f1 150 -0,0272 0,6122 0,4843 1,804 0,6787
f2 150 -0,1446 0,9328 0,7408 2,767 1,0382
Birleşik (EKK) 150 0,0000 0,5100 0,4061 1,519 0,5691
DIEBOLD-MARIANO TESTİ
f1 / f2 2 -0,49541 -4,827 <,0001 f1 H0 reddedilir
f1 / Birleşik (eşit) 2 0,06053 1,194 0,2342 Birleşik (eşit) H0 reddedilemez
GIACOMINI-WHITE
f1 / f2 148 17,624 2 0,0001 H0 reddedilir
BİRLEŞTİRME AĞIRLIKLARI
Birleşik (EKK) 0,6920 0,3031 0,0724
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Ort. kayıp farkı | \bar d (ilk - ikinci). | Negatifse ilk yöntem daha az kayıplı. |
| DM ve p | HLN'li DM ve t(n-1) ya da normal p. | p<\alpha ise kayıplar eşit değil. |
| "Daha az kayıp" | \bar d işaretine göre. | Yalnız H_0 reddedildiyse anlamlıdır. |
| MASE | Hata / naif ölçek. | 1'den küçük: naif yöntemden iyi. |
Bu örnekte f_1, f_2'den belirgin biçimde iyidir (p<0{,}001). Eşit ağırlıklı birleşik, f_1'den anlamlı biçimde iyi değildir (p=0{,}23); EKK birleşik anlamlı biçimde iyidir (p<0{,}001) ama ağırlıklar tüm örneklemden kestirildiği için iyimserdir.
Tahmin doğruluğu, kare hata kayıp işlevi ve h=2 ufkunda (n=150) Diebold–Mariano testiyle, Harvey–Leybourne–Newbold düzeltmesiyle karşılaştırıldı. f_1 ile f_2: DM=-4{,}83, p<0{,}001 (f_1 daha az kayıplı).
150.8 Uzman soruları
S1. DM'nin H_0'ı nedir; "iki model eşit" mi?
Hayır. H_0 beklenen kayıpların eşit olmasıdır ve kayıp işlevine bağlıdır. Kare hata altında eşit olan iki yöntem mutlak hata altında farklı olabilir.
S2. HLN düzeltmesi h=1'de ne yapar?
Çarpan \sqrt{(n-1)/n} ve t(n-1) dağılımı. Küçük n'de p'yi büyütür. h>1'de fark daha büyüktür.
S3. Dikdörtgen kestirici negatif varyans verirse ne olur?
MerQur h=1 ile yeniden hesaplar ve uyarı yazar (R dm.test ile aynı). Bartlett kestiricisi her zaman negatif olmayan varyans verir.
S4. Giacomini–White neden "koşullu"?
Kayıp farkının geçmiş kayıp farkıyla öngörülebilir olup olmadığını da sınar (h_t=(1,d_{t-h})). Böylece yöntemin hangi koşullarda üstün olduğu sorulabilir. Yalnız sabit araçla koşulsuz sınama olur (DM'ye eşdeğer).
S5. EKK birleştirmede neden sabit ve kısıtsız?
Granger ve Ramanathan (1984) sabitli ve kısıtsız biçimi önerir; tahminlerde yanlılık düzeltilir ve ağırlıklar toplamı 1 olmak zorunda kalmaz. Toplam 1 kısıtı seçenektir.
S6. Başka yazılımlarla fark?
DM^* ve p R forecast::dm.test ile aynıdır. Giacomini–White R'de yaygın bir paketle birebir karşılığı yoktur; MerQur açık formüllere göre doğrulanmıştır.
150.9 Sık hatalar ve tuzaklar
- Örneklem içi tahminleri karşılaştırmak. DM örneklem dışı tahmin gerektirir.
- h'yi yanlış girmek. h=1 girip h=3 adımlı tahminleri karşılaştırmak varyansı küçültür ve p'yi yapay olarak düşürür.
- Birleşik EKK doğruluğunu örneklem dışı sanmak. Ağırlıklar aynı örneklemden kestiriliyorsa iyimserdir.
- Kayıp işlevini seçmemek. Sonuç kayıp işlevine bağlıdır; karar vericinin kaybını yansıtan işlevi seçin.
- p'yi tek yönlü okumak. Tek yönlü karşı hipotez seçildiğinde "ilk yöntem daha az kayıplı" ya da tersi bilgisi yazılır.
150.10 Kaynaklar
- Diebold, F. X., & Mariano, R. S. (1995). Comparing predictive accuracy. Journal of Business & Economic Statistics, 13(3), 253–263. https://doi.org/10.1080/07350015.1995.10524599
- Harvey, D., Leybourne, S., & Newbold, P. (1997). Testing the equality of prediction mean squared errors. International Journal of Forecasting, 13(2), 281–291. https://doi.org/10.1016/S0169-2070(96)00719-4
- Giacomini, R., & White, H. (2006). Tests of conditional predictive ability. Econometrica, 74(6), 1545–1578. https://doi.org/10.1111/j.1468-0262.2006.00718.x
- Hyndman, R. J., & Koehler, A. B. (2006). Another look at measures of forecast accuracy. International Journal of Forecasting, 22(4), 679–688. https://doi.org/10.1016/j.ijforecast.2006.03.001
- Bates, J. M., & Granger, C. W. J. (1969). The combination of forecasts. Operational Research Quarterly, 20(4), 451–468. https://doi.org/10.1057/jors.1969.103
- Granger, C. W. J., & Ramanathan, R. (1984). Improved methods of combining forecasts. Journal of Forecasting, 3(2), 197–204. https://doi.org/10.1002/for.3980030207
- Tashman, L. J. (2000). Out-of-sample tests of forecasting accuracy: An analysis and review. International Journal of Forecasting, 16(4), 437–450. https://doi.org/10.1016/S0169-2070(00)00065-0