MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Multinomial Lojistik Regresyon

Multinomial Lojistik Regresyonanaliz

Üç ya da daha fazla sırasız kategorili bir sonucun (ör. ulaşım türü, program seçimi) hangi kategoride gerçekleşeceğini öngörücülere bağlayan ve her kategoriyi bir referans kategoriyle karşılaştıran regresyon modeli.

Kavram

Bazı sonuçlar ikiden fazla seçenek içerir ve bu seçenekler arasında doğal bir sıra yoktur: araba, otobüs ya da bisiklet; akademik, genel ya da meslek programı. Böyle bir sonucu birkaç ayrı ikili lojistik modelle incelemek tutarsız olasılıklar üretir. Multinomial lojistik regresyon tüm kategorileri tek bir modelde ele alır ve her gözlem için olasılıkların toplamı 1 olur.

Kategorilerden biri referans seçilir ve K kategorili bir sonuç için K − 1 denklem kurulur; her denklem bir kategorinin referansa göre log-odds'unu öngörücülere bağlar: ln[P(k) / P(referans)] = β₀ₖ + β₁ₖx₁ + … Her öngörücünün her denklemde ayrı bir katsayısı vardır. exp(β) odds oranıdır: o kategoride olmanın referans kategoride olmaya göre odds'unun bir birimlik artışla kaç katına çıktığını gösterir.

Model, ilgisiz seçeneklerden bağımsızlık (IIA) varsayımına dayanır: iki seçeneğin birbirine göre odds'u, başka bir seçeneğin varlığından ya da yokluğundan etkilenmemelidir. Seçenekler birbirinin yakın ikamesiyse bu varsayım bozulabilir. Çok sayıda kategori ve öngörücü, parametre sayısını hızla artırır; seyrek kategorilerde kestirimler kararsızlaşır.

Ne zaman kullanılır?

  • Sonuç üç ya da daha fazla sırasız kategoriden oluşuyorsa ve hangi kategorinin seçileceğini öngörücülerle açıklamak istendiğinde (ulaşım türü, tercih edilen marka, tür bileşimi).
  • Kategoriler doğal bir sıraya sahipse (düşük-orta-yüksek) ordinal lojistik regresyon daha az parametreyle daha güçlü bir model verir; yalnız iki kategori varsa ikili lojistik regresyon kullanılır.
  • IIA varsayımı ciddi biçimde bozuluyorsa iç içe (nested) logit ya da çok değişkenli probit gibi modeller değerlendirilir.

Gündelik bir örnek

Bir şehirde 600 çalışana işe nasıl gittikleri soruluyor: araba, otobüs ya da bisiklet. Ev-iş uzaklığı ve hane geliri de kaydediliyor. Referans 'otobüs' seçildiğinde model, örneğin gelirdeki her 10 bin TL artış için 'araba ile otobüs' karşılaştırmasında OR = 1,5, 'bisiklet ile otobüs' karşılaştırmasında ise uzaklıktaki her ek kilometre için OR = 0,7 bulabilir: gelir arttıkça arabayı seçme odds'u yükselir, uzaklık arttıkça bisikleti seçme odds'u düşer.

MerQur'da parametreler

Prediktörler (X) ve Hedef (Y, sırasız çoklu)

Kavram: Hedef, en az üç sırasız kategoriden oluşan sonuç değişkenidir; öngörücüler hangi kategorinin gerçekleşeceğini açıklamak için kullanılır. K kategori için K − 1 denklem kurulur.

Gündelik örnek: Ulaşım örneğinde hedef 'araba / otobüs / bisiklet' sütunu, öngörücüler ise uzaklık ve gelirdir. Üç kategori olduğu için model iki denklem kurar: araba ile otobüs, bisiklet ile otobüs.

Ne işe yarar: En az 3 sınıflı, sıralanmamış bağımlı değişkeni ve öngörücüleri seçer. Sınıflar değerlerin metin sırasıyla dizilir (sayısal kod 1/2/3 -> "1", "2", "3").

Sonuca etkisi: Denklem sayısı K - 1'dir; temel sınıf boş bırakılırsa ilk metin sınıfı temel sınıf olur.

Doğrulama verisinde: prog (3 sınıf, n = 200), ICE_CREAM (1/2/3), Style (3), food (5 sınıf, n = 219).

Referans sınıf

Kavram: Diğer kategorilerin karşılaştırılacağı temel kategoridir. Referansı değiştirmek modelin uyumunu ve tahmin edilen olasılıkları değiştirmez; yalnız katsayıların hangi karşılaştırmayı anlattığını değiştirir.

Gündelik örnek: Referans 'otobüs' yerine 'araba' seçilirse katsayılar 'otobüs ile araba' ve 'bisiklet ile araba' karşılaştırmalarını anlatır. Her çalışanın üç ulaşım türü için tahmin edilen olasılıkları ise aynı kalır.

Ne işe yarar: Payda sınıfını seçer. Modeli değiştirmez (LL, AIC, uyum, olasılıklar ve sınıflama aynı kalır), yalnız katsayıları başka bir karşılaştırmaya çevirir.

Sonuca etkisi: Denklem etiketleri ve katsayı/OR değerleri değişir; LR testleri, pseudo-R² ve GOF değişmez. Harf duyarsız tek eşleşme varsa o kullanılır ve uyarı yazılır; eşleşme yoksa mevcut sınıfları listeleyen açık hata verilir.

Doğrulama verisinde: write katsayısı: temel sınıf academic: general -0.05793, vocation -0.1136; temel sınıf "general": academic +0.05793, vocation -0.05567. LL her durumda -179.9817.

→ Referans kategori (karşılaştırma düzeyi)

Kategorik (faktör) değişkenler

Kavram: Sayılarla kodlanmış kategorik bir öngörücünün tek bir eğim yerine düzey başına ayrı katsayılarla (kukla değişkenler) her denkleme girmesini sağlar.

Gündelik örnek: Çalışanın oturduğu bölge 1 = merkez, 2 = çevre, 3 = kırsal diye kodlanmışsa bu sayılar ölçüm değildir. Faktör yapılınca 'çevrede oturmak araba seçme odds'unu merkeze göre kaç kat değiştiriyor?' sorusu her denklem için ayrı yanıtlanır.

Ne işe yarar: Sayısal kodlu kategorik öngörücüleri (ör. okul 1/2/3) faktör yapar; ilk (en küçük) düzey referanstır. Metin sütunları zaten kategoriktir.

Sonuca etkisi: Sürekli tek eğim yerine (düzey - 1) × (K - 1) kukla katsayısı oluşur; LL, LR ve GOF örüntüleri değişir.

Doğrulama verisinde: Okul tercihi (School) verisi: alan boşken School sürekli sayılır (-2LL 670.404); "School" yazılınca -2LL 666.934, LR 28.4704 (sd 6), AIC 682.934.

→ Kukla (gösterge) değişken kodlaması

Güven Düzeyi (%90, %95, %99, Diğer (özel))

Kavram: Katsayılar ve odds oranları için verilen aralıkların güven düzeyini belirler; güven düzeyi arttıkça aralık genişler.

Gündelik örnek: Gelirin 'araba ile otobüs' OR'si 1,5 bulunduğunda %95 aralık [1,2; 1,9] olabilir; %99,9 gibi çok yüksek bir güven düzeyinde aralık 1'i içine alacak kadar genişleyebilir.

Ne işe yarar: Katsayı ve OR için Wald aralığını belirler: b ± z·SH, OR aralığı = exp(sınırlar).

Sonuca etkisi: Yalnız aralık sütunları değişir; kestirim, SH ve p değişmez.

Doğrulama verisinde: general vs academic, write OR aralığı: %90 [0.9111, 0.9775]; %95 [0.9049, 0.9842]; %99 [0.8931, 0.9972]; %99.9 [0.8795, 1.0126] (1'i kapsar).

→ Güven düzeyi ve güven aralığı

Etkileşimler

Kavram: Etkileşim, bir öngörücünün etkisinin başka bir öngörücünün düzeyine göre değişmesidir; modele iki değişkenin çarpımı eklenerek sınanır ve her denklemde ayrı parametre üretir.

Gündelik örnek: Uzaklığın bisiklet seçimini düşürücü etkisi düşük gelirlilerde daha zayıf olabilir, çünkü onlar için arabaya erişim sınırlıdır. 'Uzaklık × gelir' etkileşimi bu farkın şansla açıklanıp açıklanamayacağını sınar.

Ne işe yarar: Seçili öngörücüler arasında iki yönlü çarpım terimi ekler ("a*b"; "a:b" de aynı işlenir). Kategorik değişkende her kukla ile çarpım oluşturulur.

Sonuca etkisi: Her denkleme ek parametre eklenir; etki testleri Tip II'dir. Ayrışmada MerQur uyarır ve kestirim göstermez.

Doğrulama verisinde: ses*write: LL -179.9817 -> -178.2506, AIC 375.96 -> 380.50, Tip II LR (ses:write) 3.4623, sd 4, p = .484.

→ Etkileşim etkisi

Ek çıktı: Etki başına olabilirlik oranı testleri

Kavram: Bir öngörücünün tüm denklemlerdeki katsayıları birlikte sıfır mıdır sorusunu olabilirlik oranıyla sınar; böylece o değişkenin sonucu genel olarak etkileyip etkilemediğine tek bir yanıt verir.

Gündelik örnek: Gelirin 'araba ile otobüs' denkleminde anlamlı, 'bisiklet ile otobüs' denkleminde anlamsız olması kafa karıştırabilir. Etki başına LR testi 'gelir ulaşım türü seçimini genel olarak etkiliyor mu?' sorusunu tek bir χ² ile yanıtlar.

Ne işe yarar: Her öngörücü için o öngörücünün tüm denklemlerdeki parametreleri çıkarılmış modele karşı LR testi yapar (sd = sütun sayısı × (K - 1)); etkileşimli modelde Tip II'dir.

Sonuca etkisi: Ek tablo.

Doğrulama verisinde: ses 11.0582 (sd 4, p .0259), write 31.4469 (sd 2).

→ Olabilirlik oranı testi (LRT)

Ek çıktı: Pearson / Deviance uyum iyiliği

Kavram: Öngörücülerin aynı değer birleşimine sahip gözlem grupları için gözlenen ve modelin beklediği kategori sıklıklarını karşılaştırır. Sürekli öngörücüler varsa gruplar çok küçük kalır ve test güvenilir olmaz.

Gündelik örnek: Öngörücüler yalnız 'bölge' ve 'araba sahibi mi' gibi birkaç kategoriliyse her grupta onlarca çalışan bulunur ve test anlamlıdır. Uzaklık kilometre olarak girildiğinde neredeyse her çalışan kendi grubunu oluşturur ve test yorumlanamaz.

Ne işe yarar: Kovaryat örüntüleri üzerinden gözlenen ve beklenen frekansları Pearson X² ve G² ile karşılaştırır. Gruplanmış veride anlamlıdır; sürekli öngörücüde ki-kare yaklaşımı geçersizdir.

Sonuca etkisi: Ek satırlar.

Doğrulama verisinde: hsbdemo 64 örüntü, Pearson 119.766, Deviance 129.875, sd 120 (seyrek uyarısı); school 6 örüntü, sd 6, Pearson 5.171.

→ Uyum iyiliği testleri (Pearson X² ve sapma)

Ek çıktı: Sınıflama tablosu

Kavram: Her gözlemi modelin en yüksek olasılık verdiği kategoriye atar ve gözlenen ile tahmin edilen kategorileri çapraz tabloda karşılaştırır. Genel doğru sınıflama oranı, seyrek kategorilerdeki zayıf başarıyı gizleyebilir.

Gündelik örnek: Model çalışanların %70'ini doğru sınıflasa da bu başarı büyük ölçüde en kalabalık grup olan araba kullanıcılarından gelebilir. Tabloda bisikletlilerin yalnız %20'sinin doğru tahmin edildiği görülebilir.

Ne işe yarar: Her gözlemi en yüksek tahmin olasılıklı sınıfa atar; gözlenen × tahmin edilen tabloyu ve % doğru sınıflamayı verir.

Sonuca etkisi: Ek tablo.

Doğrulama verisinde: hsbdemo %61.0 (academic %87.6, general %15.6, vocation %46.0).

→ Sınıflandırma tablosu (karışıklık matrisi)

Ek çıktı: IIA testi (Hausman-McFadden)

Kavram: İlgisiz seçeneklerden bağımsızlık varsayımını sınar: bir kategori analizden çıkarıldığında kalan karşılaştırmaların katsayıları belirgin biçimde değişmemelidir. Belirgin değişim varsayımın bozulduğunu gösterir.

Gündelik örnek: Şehre bir de metro eklendiğini düşünün. Metro yolcularının çoğu otobüsten gelirse 'araba ile otobüs' odds'u değişir; seçenekler birbirinin ikamesidir ve IIA bozulur. Test, bisiklet kategorisi çıkarıldığında araba-otobüs katsayılarının değişip değişmediğine bakarak bu tür sorunları yakalar.

Ne işe yarar: İlgisiz seçeneklerden bağımsızlık varsayımını sınar: bir seçenek çıkarıldığında kalan katsayıların değişmemesi beklenir. H = d'(V_r - V_f)⁻¹d.

Sonuca etkisi: Ek satırlar. (V_r - V_f) pozitif tanımlı değilse "test geçersiz olabilir" uyarısı yazılır.

Doğrulama verisinde: hsbdemo general çıkarılınca -1.0763 (negatif; uyarı), vocation çıkarılınca 0.5438 (p .969). Yüksek duyarlıklı bağımsız hesap MerQur ile 1e-8 düzeyinde aynıdır.

→ İlgisiz alternatiflerden bağımsızlık (IIA) varsayımı

Değişken seçim yöntemi (Enter (tümü), İleri (yalnız giriş), Geri (yalnız çıkarma), İleri adımsal, Geri adımsal), Giriş testi (Olabilirlik oranı (LR), Skor), Çıkarma testi (Olabilirlik oranı (LR), Wald), PIN, POUT, Her zaman modelde; Aşırı yayılım ölçeği (Yok (ölçek = 1), Pearson, Deviance); Frekans ağırlığı

Kavram: Adımsal seçim, öngörücüleri istatistiksel ölçütlere göre otomatik ekler ya da çıkarır ve keşif amaçlıdır. Aşırı yayılım ölçeği verideki fazladan değişkenliği standart hatalara yansıtır; frekans ağırlığı bir satırın birden çok özdeş gözlemi temsil ettiğini belirtir.

Gündelik örnek: Elde yaş, cinsiyet, gelir, uzaklık, çocuk sayısı gibi birçok aday değişken varsa adımsal seçim ulaşım tercihini en iyi açıklayan küçük bir kümeyi önerir; bu öneri yeni bir ankette doğrulanmalıdır. Veri 'merkez, araba: 120 kişi' gibi özet satırlardaysa frekans ağırlığı kullanılır.

Ne işe yarar: Çok sınıflı modelde adımsal seçim (giriş LR veya skor, çıkış LR veya Wald), aşırı yayılım ölçeği ve frekans ağırlığı seçenekleri.

Sonuca etkisi: Seçilen küme ve adım tablosu; ölçek SH'leri değiştirir; ağırlık n ve tahminleri değiştirir.

Doğrulama verisinde: Adım tablosunda her adım için -2LL, ki-kare, sd ve seçilen küme verilir; frekans ağırlığı housing verisinde sınanmıştır.

→ Aşamalı (stepwise) değişken seçimi

Gerçek veride örnek

Veri: UCLA hsbdemo (program seçimi, 200 öğrenci)

Değişkenler: hedef prog (academic, general, vocation), prediktörler ses (sosyoekonomik düzey) ve write (yazma puanı)

  • Soru: Öğrencinin lise program türü (academic, general, vocation) sosyoekonomik düzey (ses) ve yazma puanıyla (write) açıklanabilir mi? Referans sınıf academic, ses referansı high.
  • Varsayım: Multinomial logit, alternatiflerin bağımsızlığı (IIA) varsayımına dayanır; bu varsayım Hausman-McFadden testiyle ayrıca sınanmalıdır.
  • Sonuç: LR χ²(6) = 48.23, p < .001. general ve academic: düşük ses'li öğrencilerin general programda olma odds'u yüksek ses'lilere göre 3.20 kat (%95 GA [1.17, 8.76], p = .024); write'taki her 1 puan artış bu odds'u 0.944 katına indirir (p = .007). vocation ve academic: orta ses için OR = 3.58 (%95 GA [1.31, 9.74], p = .013); write için OR = 0.893 (%95 GA [0.855, 0.932], p < .001).
  • Etki büyüklüğü: McFadden R² = .118, Cox-Snell R² = .214, Nagelkerke R² = .246; AIC = 375.96, BIC = 402.35.
  • APA: χ²(6, N = 200) = 48.23, p < .001, McFadden R² = .12; write (vocation/academic) OR = 0.89, %95 GA [0.86, 0.93], p < .001.

İlgili kavramlar

Olabilirlik oranı testi (LRT)İlgisiz alternatiflerden bağımsızlık (IIA) varsayımıSınıflandırma tablosu (karışıklık matrisi)Uyum iyiliği testleri (Pearson X² ve sapma)Etkileşim etkisiAşamalı (stepwise) değişken seçimiOdds oranı (OR)Sözde R² (McFadden, Cox-Snell, Nagelkerke)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.