MerQuR+Başvuru Kitabı

165. Sonlu karışım regresyonu (gizil sınıflı regresyon, EM)

Şablon kimliği: sonlu_karisim_regresyon · Kategori: çok değişkenli · Dil: R · Dosya: pro/sablonlar/cok_degiskenli/sonlu_karisim_regresyon.R (satır 1–226; üstbilgi 1–95) · Örnek veri: _ornek/npreg.csv · Paketler: flexmix 2.3-21 (modeltools, lattice), R 4.5.3

165.1 Ne işe yarar

Şablon, tek bir regresyon doğrusunun bütün gözlemlere uymadığı durumu modeller: veri, gözlenmeyen K alt gruptan gelir ve her alt grupta yanıt ile açıklayıcılar arasındaki ilişki farklıdır. Hangi gözlemin hangi gruptan geldiği bilinmez; şablon hem grupların regresyon katsayılarını hem de her gözlemin gruplara ait olma olasılığını birlikte kestirir.

f(y\mid \mathbf x)=\sum_{k=1}^{K}\pi_k\, f_k\big(y\mid \mathbf x;\ \boldsymbol\beta_k,\varphi_k\big),\qquad \pi_k>0,\ \ \sum_{k}\pi_k=1
  • y: yanıt; \mathbf x: açıklayıcı değişken vektörü (kesişim dahil).
  • \pi_k: k. bileşenin karışım oranı (bir gözlemin k. gruptan gelme önsel olasılığı).
  • f_k: k. bileşenin yoğunluğu: normal, Poisson ya da Bernoulli.
  • \boldsymbol\beta_k: k. bileşenin regresyon katsayıları; \varphi_k: yayılma parametresi (yalnız normal bileşende \sigma_k).

Bileşen dağılımı üç seçenekten biridir: normal (doğrusal regresyon), Poisson (log bağlantı) ve ikili lojistik. Kestirim EM algoritmasıyladır (Dempster ve ark., 1977; bu modele uygulaması DeSarbo ve Cron, 1988; Wedel ve DeSarbo, 1995). Şablon flexmix paketini (Leisch, 2004; Grün ve Leisch, 2008) kullanır, birden çok rastgele başlangıç dener ve en yüksek log-olabilirliği seçer.

Ne zaman kullanılır?

  • Dağılım grafiği birden çok "kol" ya da "bulut" gösteriyorsa ve bu kolların farklı eğimleri olabilecek gözlenmemiş bir nedeni varsa (iki ayrı tür, iki ayrı üretim yöntemi, iki ayrı tepki rejimi).
  • Ortalama eğimin hiçbir alt grubu temsil etmediğinden şüpheleniliyorsa.
  • Grup sayısı bilinmiyorsa ve bilgi ölçütleriyle seçilmek isteniyorsa (şablon 1..K için AIC, BIC ve ICL tablosu verir).

Ne zaman kullanılmaz?

  • Alt grup gözleniyorsa (cinsiyet, tür, bölge sütunu): grubu etkileşimle modelleyin; temel programda bu, grup değişkeniyle etkileşimli doğrusal modeldir. Karma etkiler gerekiyorsa lme4/glmmTMB tabanlı şablonlar (ör. Bölüm 19, Bölüm 20) uygundur.
  • Aynı birimden yinelenen ölçümler varsa: bu şablon gözlemleri bağımsız sayar. Birim içi bağımlılık için karma model gerekir.
  • Amaç kümeleme ise ve yanıt-açıklayıcı ilişkisi ilgi konusu değilse: karışım dağılımı kümelemesi (yanıtsız) başka araçların işidir.
  • Yanıt sayım olup aşırı yayılma varsa ve Poisson bileşenler yetmiyorsa: negatif binom bileşeni bu şablonda yoktur; Bölüm 27'deki negatif binom şablonu tek bileşenlidir.
  • Yanıtı 0/1 olan lojistik karışım gerekiyorsa: "İkili lojistik (0/1)" bileşen dağılımını seçin (yanıt cbind(y, 1 - y) olarak verilir; 165.8).

Temel programla ilişki. Temel programda yanıt-açıklayıcı ilişkisini gruplara ayıran bir karışım regresyonu yoktur. Yakın analizler gizil sınıf (LCA) ve gizil profil (LPA) analizleridir; onlar gözlenen göstergelerin dağılımından grup bulur, bu şablon ise her grubun regresyonunu ayrı kestirir. Şablonun K=1 satırı, normal bileşende, tek bileşenli doğrusal modelin log-olabilirliğidir; yalnız \sigma tanımı farklıdır (165.4.2).

165.2 Şablonun girdileri

Form, üstbilgideki 12 [[param]] bloğundan kurulur (sonlu_karisim_regresyon.R:10–94). Türlerin anlamı ve formun ortak denetimi Bölüm 1.2'dedir. Yanıt sayisal_sutun türündedir, yani sayısal roldür: Veri sekmesinde türü "kategorik" ya da "ikili" olan bir sütun da yanıt seçilebilir ve R'ye sayı olarak gider (Bölüm 1.3). Açıklayıcılar ve eş değişkenler sutunlar türündedir ve sayisal = true değildir: Veri sekmesinde "kategorik" sayılan sütun kategorik (kukla kodlanan) değişken olur.

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt · y sayısal sütun · Değişkenler veri sekmesindeki ilk sayısal sütun sayısal sütun Yanıt vektörü (10–14, 106–107).
Açıklayıcı değişkenler · x sütunlar · Değişkenler boş en az 1 sütun Yanıt dışındakiler formüle girer (15–20, 100–101, 112–121).
Sayısal açıklayıcıların karesini de ekle · kare onay · Model kapalı açık/kapalı Her sayısal açıklayıcı için I(x^2) terimi (21–26, 119).
Bileşen sayısı K · k tamsayı · Model 2 1–8 İstenen bileşen sayısı (27–34, 105).
Bileşen dağılımı · aile seçim · Model gaussian gaussian, poisson, binomial Bileşen modeli (35–41, 133; ikili lojistikte yanıt cbind(y, 1 - y) olarak verilir, 129–131).
Rastgele EM başlangıcı sayısı · baslangic tamsayı · Gelişmiş 20 1–200 stepFlexmix(nrep =) (42–49, 150).
1..K bileşen için bilgi ölçütlerini karşılaştır · k_sec onay · Seçenekler açık açık/kapalı K>1 iken 1..K için ek uydurma (50–55, 208–215).
Karışım oranlarını açıklayan eş değişkenler · es_degiskenler sütunlar (isteğe bağlı) · Değişkenler boş sütunlar Üyelik olasılığına çok terimli lojit (56–62, 102–105, 136–144).
EM türü · siniflama seçim · Model auto auto, CEM, SEM control$classify (63–69, 135).
En küçük bileşen oranı · en_kucuk_oran ondalık · Gelişmiş 0,01 0–0,4 control$minprior (70–78, 134).
EM yakınsama toleransı · tolerans ondalık · Gelişmiş 10^{-10} 10^{-14}–0,01 control$tolerance (79–86, 134).
En çok EM yinelemesi · en_cok_yineleme tamsayı · Gelişmiş 5000 10–1 000 000 control$iter.max (87–94, 134).

Örnek ayar (ornek_param, satır 9) varsayılandan farklıdır: y = yn, x = [x], kare = açık, k = 2, aile = gaussian, baslangic = 5, k_sec = açık. Başlangıç sayısı 20 değil 5'tir.

Şablonun kendi denetimleri (mq_hata):

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 99
Yanıttan farklı açıklayıcı yok "Yanıttan farklı en az bir açıklayıcı seçin." 101
Yanıt sayısal değil "Yanıt sayısal olmalı." 106
Eksiksiz satır sayısı <10 "En az 10 tam satır gerekli." 108
Yanıt sabit "Yanıt sabit." 109
Poisson ve yanıt negatif ya da tamsayı değil "Poisson bileşenleri için yanıt negatif olmayan tamsayı olmalı." 110
İkili lojistik ve yanıt 0/1 değil "İkili lojistik bileşenler için yanıt 0/1 olmalı." 117
Açıklayıcı ondalık virgüllü sayılardan oluşan metin sütunu "'…' sütunu metin olarak okundu (ondalık virgüllü sayılar); … Veri sekmesinde ondalık ayracını nokta yapın …" 121
Açıklayıcı sabit ya da tek düzeyli "'…' sabit (tek düzeyli); açıklayıcılardan çıkarın." 123
Açıklayıcılar tam doğrusal bağımlı (x ve 2x gibi) "Açıklayıcılar tam doğrusal bağımlı: '…' başka terimlerin doğrusal birleşimi; terimlerden birini çıkarın." 128–131
Eş değişken sabit ya da tek düzeyli "Eş değişken '…' sabit (tek düzeyli)." 141
n<K\,(p+1)+5 (p: katsayı sayısı, normalde +1 \sigma için) "Gözlem sayısı bu bileşen ve parametre sayısı için yetersiz." 132
Uydurma hata verdi ya da yakınsamadı "Karışım modeli kurulamadı; bileşen sayısını azaltın ya da başlangıç sayısını artırın. Paket iletisi: …" 155–157

Son satırdaki iletinin sonuna paketin kendi hata metni eklenir (tryCatch hata iletisini son_hata'ya yazar, 152, 156); böylece uydurmanın neden başarısız olduğu görünür. Hata, çok küçük bir örneklemde bileşenlerin boşalmasından ya da paketin başka bir kısıtından gelebilir (165.8).

Seçilen yanıt, açıklayıcı ve eş değişken sütunlarından herhangi birinde eksik değer taşıyan satır atılır (106–108) ve atılan satır sayısı yazılır: "15 satır eksik değer nedeniyle çıkarıldı; 185 satırla çalışıldı." Bir eş değişken yanıtta ya da açıklayıcılarda da seçilmişse eş değişkenlerden çıkarılır ve bu bir uyarı satırıyla bildirilir (103–105).

165.3 Örnek veri

npreg.csv, flexmix paketinin vinyetindeki NPreg verisidir (Leisch, 2004): 200 satır, eksik değer yok. Veri, iki alt gruptan benzetilmiştir: yarısı y=5x+\varepsilon (doğrusal), yarısı y=15+10x-x^2+\varepsilon (parabol).

Değişken Rol Tür (veri sekmesinin algıladığı) Özet
x açıklayıcı sayısal 0–10 arası (düzgün dağılım)
yn yanıt (normal) sayısal -1{,}5 ile 53{,}5 arası
yp yanıt (Poisson) sayısal sayım
yb — ikili 0/1 (ayrı bir üretimle; ikili lojistik denemesinde kullanıldı)
class — ikili gerçek alt grup (1/2); modelde kullanılmaz
id1, id2 — sayısal kimlik; modelde kullanılmaz

Örnek ayarda kategorik değişken yoktur. Kategorik açıklayıcı olduğunda düzey sırası Bölüm 1.3'teki kuralla belirlenir: Veri sekmesinde "kategorik" olan sütunda kullanıcı sırası, sayı etiketlerinde sayısal sıra, aksi hâlde ilk görülme sırası; ilk düzey kukla kodlamada başvuru olur. İki düzeyli metin sütunu (ör. evet/hayır) Veri sekmesinde "ikili" sayılır, R'ye metin olarak gider ve şablonun factor() çağrısı onu alfabetik sıralar (113–115; denemede ikili sütununda başvuru evet, katsayı ikilihayir).

Bu bölümde kullanılan çalıştırmalar (tohum 1; ayrıntı dogrulama/sonlu_karisim_regresyon/calistir.sh):

Ad Veri Ayar
p4_sk_ornek npreg.csv örnek ayar (normal, K=2, kare açık, 5 başlangıç)
p4_sk_poisson npreg.csv yn yerine yp, aile = poisson
p4_sk_k3, p4_sk_yk3_s1…8 npreg.csv K=3; tek başlangıç, tohum 1–8
p4_sk_iter10, p4_sk_cem, p4_sk_sem npreg.csv en_cok_yineleme = 10; siniflama = CEM; SEM
p4_sk_es_sinif, p4_sk_es_x npreg.csv eş değişken class; eş değişken x (açıklayıcıyla aynı)
p4_sk_uc, p4_sk_uc_dogru, p4_sk_tek, p4_sk_tek_k3 benzetim (veri_uret.py) üç ve tek bileşenli veri
p4_sk_eksik, p4_sk_kat_*, p4_sk_y_*, p4_sk_n9, p4_sk_n12, p4_sk_virgul, p4_sk_kopya benzetim hata ve sınır durumları

165.4 Yöntem: formüller ve hesap adımları

Şablon önce veriyi temizler ve formülü kurar (yn ~ x + I(x^2)), sonra stepFlexmix ile K bileşenli modeli baslangic kez rastgele başlatıp en yüksek log-olabilirlikli çözümü alır. Bileşenleri kesişimlerine göre sıralar, refit ile katsayı standart hatalarını (SH) hesaplar, ardından sonsal olasılıklardan atamaları, entropiyi ve bilgi ölçütlerini üretir. İstenirse 1..K için uydurmayı yineler ve bir dağılım grafiği çizer.

165.4.1 Olabilirlik ve EM adımları

Gözlem i için bileşen k'nın sonsal olasılığı (sorumluluk):

\tau_{ik}=\frac{\pi_k\, f_k(y_i\mid \mathbf x_i;\boldsymbol\beta_k,\varphi_k)}{\sum_{j=1}^{K}\pi_j\, f_j(y_i\mid \mathbf x_i;\boldsymbol\beta_j,\varphi_j)}
  • \tau_{ik}: i. gözlemin k. bileşenden geldiğinin sonsal olasılığı; her i için \sum_k\tau_{ik}=1.
  • Pay: bileşenin ağırlıklı yoğunluğu; payda: karışım yoğunluğu.

E adımı bu \tau_{ik}'ları mevcut parametrelerle hesaplar. M adımı her bileşen için \tau_{ik} ağırlıklı bir regresyon uydurur ve oranı günceller:

\hat\pi_k=\frac1n\sum_{i}\tau_{ik},\qquad \hat{\boldsymbol\beta}_k=\arg\max_{\boldsymbol\beta}\sum_i\tau_{ik}\,\ln f_k(y_i\mid\mathbf x_i;\boldsymbol\beta,\varphi_k)
  • \hat\pi_k: bileşenin güncellenmiş oranı; sorumlulukların ortalaması.
  • İkinci formül: normal bileşende ağırlıklı en küçük kareler, Poisson ve lojistik bileşenlerde ağırlıklı iteratif yeniden ağırlıklı en küçük kareler (glm.fit, ağırlık =\tau_{ik}).

Neden EM ve neden birden çok başlangıç

Karışımın log-olabilirliği \sum_i\ln\sum_k\pi_kf_k çok tepelidir; EM her adımda log-olabilirliği artırır ama yerel bir en büyüğe yakınsar. Hangi yerel en büyüğe varıldığı başlangıç değerlerine bağlıdır. Şablon nrep = baslangic rastgele başlangıç dener ve en yüksek log-olabilirliği tutar (stepFlexmix); başlangıç sayısı arttıkça genel en büyüğe varma olasılığı artar ama garanti edilmez. 165.7'de K=3 için tek başlangıçlı sekiz tohumun üç farklı çözüm verdiği gösterilir.

Koddaki tercih

stepFlexmix(formula, data, k, nrep, model = FLXMRglm(family = aile), control = list(tolerance, iter.max, minprior [, classify]), verbose = FALSE [, concomitant]) (149–153). Paketin varsayılan yakınsama toleransı 10^{-6}'dır; şablon 10^{-10} kullanır (134). Durma ölçütü log-olabilirliğin göreli değişimidir. Şablon paketin yakınsama bayrağını (m@converged) okur: olağan EM yineleme sınırında kesilmişse "yakınsamadı" uyarısı yazar (154–157; 165.8).

165.4.2 Normal bileşende \sigma'nın tanımı

flexmix normal bileşende \sigma_k'yı serbestlik derecesi düzeltmeli ağırlıklı artık kestirimiyle yazar:

\hat\sigma_k^{2}=\frac{\sum_i \tau_{ik}\,r_{ik}^{2}}{\sum_i\tau_{ik}}\cdot\frac{n}{n-p},\qquad r_{ik}=y_i-\mathbf x_i^\top\hat{\boldsymbol\beta}_k
  • r_{ik}: k. bileşenin regresyonuna göre i. gözlemin artığı.
  • p: \mathbf x'in sütun sayısı (kesişim dahil; x, x^2 ile p=3). \sigma sayılmaz.
  • n/(n-p): tek bir regresyon için bilinen \mathrm{SSE}/(n-p) düzeltmesinin ağırlıklı karşılığı. Her bileşenin kendi etkin örneklem büyüklüğü \sum_i\tau_{ik} olduğu hâlde düzeltme toplam n ve p ile yapılır.

Neden saf en çok olabilirlik değil

Saf en çok olabilirlik \hat\sigma_k^2=\sum\tau_{ik}r_{ik}^2/\sum\tau_{ik} verirdi. Paketin tanımı \sigma'yı n/(n-p) kadar büyütür; EM bu büyütülmüş \sigma ile devam ettiğinden sabit nokta saf olabilirliğin en büyüğü değildir ve raporlanan log-olabilirlik ile BIC saf en çok olabilirlik değerinden biraz farklıdır. Örnek veride (165.6): şablonun log-olabilirliği -642{,}5452, saf en çok olabilirlik çözümünün -642{,}5320 (fark 0{,}0132); \sigma değerleri 3{,}4757 ve 3{,}4802'ye karşılık 3{,}4444 ve 3{,}4509 (%0,9). Üstbilgi bu farkı açıkça belirtir (satır 7). Başka bir programın saf olabilirlikle uydurduğu çözümle karşılaştırırken bu fark beklenmelidir; \sigma düzeltmesi K=1 satırında da vardır (\sigma^2=\mathrm{SSE}/(n-p), örnekte \ell=-728{,}3149; saf olabilirlikle -728{,}3035).

Koddaki tercih

Normal bileşen FLXMRglm(family = "gaussian") ile kurulur (124). flexmix'in FLXMRglm M adımı: glm.fit(x, y, weights = w), ardından sigma <- sqrt(sum(w * artik^2 / mean(w)) / (nrow(x) - rank)). Poisson ve lojistik bileşenlerde yayılma parametresi yoktur.

165.4.3 Standart hatalar: refit

Şablon, K>1 iken katsayı SH'lerini refit(m) ile alır (150, 157–159). refit (varsayılan optim yöntemi) tüm parametrelerin (bileşen katsayıları, \sigma_k ve karışım oranlarının çok terimli lojit parametreleri) ortak log-olabilirliğini, EM çözümünden başlayarak doğrudan en büyükler ve sayısal Hessian'dan kovaryans kestirir:

\widehat{\mathrm{Var}}(\hat{\boldsymbol\theta})=\Big[-\nabla^2\ln L(\hat{\boldsymbol\theta})\Big]^{-1},\qquad z_j=\hat\theta_j/\mathrm{SH}_j,\quad p_j=2\,\Phi(-|z_j|)
  • \boldsymbol\theta: bileşen katsayıları, \ln\sigma_k ve \pi'nin lojit parametreleri.
  • \Phi: standart normal dağılım işlevi. p değerleri Wald z testinindir; küçük örneklemde ve yarı ayrışmış bileşenlerde güvenilirlikleri sınırlıdır.

Tabloda üç ayrı çözüm birleşir

Tablodaki katsayı, SH, z ve p refit çözümünden gelir (kod, EM katsayısının üstüne refit katsayısını yazar: 159). \sigma, karışım oranı, log-olabilirlik, AIC, BIC, ICL ve atamalar ise EM çözümündendir. İki çözüm tam aynı değildir: örnekte x katsayısı EM'de 4{,}8165, tabloda 4{,}8145, saf olabilirlik en büyüğünde 4{,}8145'tir. refit olabilirliğin gerçek en büyüğüne yaklaşır (10^{-4} düzeyinde, optim'in durma ölçütüyle), EM ise büyütülmüş \sigma'nın sabit noktasındadır. Fark küçüktür ama tablodaki katsayılarla \sigma ve log-olabilirlik tam tutarlı bir çözüme ait değildir.

K=1 iken refit çağrılmaz; katsayı, SH ve p glm özetinden gelir ve p değeri t değil normal dağılımdan hesaplanır (164–168).

165.4.4 Bilgi ölçütleri, entropi ve ICL

\mathrm{AIC}=-2\ell+2d,\qquad \mathrm{BIC}=-2\ell+d\ln n,\qquad \mathrm{ICL}=\mathrm{BIC}-2\sum_{i}\ln\tau_{i,\hat k_i},\quad \hat k_i=\arg\max_k\tau_{ik}
  • \ell: EM çözümündeki log-olabilirlik; d: parametre sayısı. Normal bileşende d=K\,p+K+(K-1) (katsayılar, \sigma'lar, oranlar); Poisson ve lojistikte \sigma'sız. Örnekte d=2\cdot3+2+1=9.
  • ICL: Biernacki ve ark. (2000) tamamlanmış olabilirlik ölçütü. Sert atamanın log-olasılığını BIC'e ekler: bileşenler ne kadar iç içeyse ICL BIC'ten o kadar büyük olur.

Şablonun yazdığı göreli entropi, ICL'den farklı olarak yumuşak sonsal olasılıklara dayanır:

E_{\mathrm{rel}}=1-\frac{-\sum_{i}\sum_{k}\tau_{ik}\ln\tau_{ik}}{n\ln K}\ \in[0{,}1]
  • E_{\mathrm{rel}}=1: atamalar kesin (her \tau_{ik} 0 ya da 1); E_{\mathrm{rel}}=0: bütün \tau_{ik}=1/K, bileşenler ayrılamıyor.
  • K=1 için şablon 1 yazar (172).

Neden iki ayrı entropi

ICL flexmix tanımıyla sert atama entropisini kullanır; "göreli entropi" ise şablonun kendi hesabıdır ve yumuşak entropiye dayanır. Aynı çıktıda iki ölçü bu yüzden birbirinden bağımsız ilerleyebilir. Örnekte yumuşak entropi toplamı 27{,}65 (E_{\mathrm{rel}}=0{,}8006); ICL'nin kullandığı sert terim 2\cdot18{,}20=36{,}40'tır (\mathrm{ICL}-\mathrm{BIC}=1369{,}175-1332{,}775). Yumuşak entropiyle ICL 1388{,}07 olurdu.

165.4.5 Yan seçenekler

  • Kare terimi (kare): her sayısal açıklayıcı için I(x^2) eklenir (125). Kategorik açıklayıcıya eklenmez ve sessizce atlanır.
  • Eş değişkenler (es_degiskenler): bileşen üyelik olasılığı \pi_k(\mathbf w), eş değişkenlere çok terimli lojitle bağlanır (FLXPmultinom; 143). Çıktıdaki "karışım oranı" bu durumda ortalama olasılıktır. Eş değişken tablosu bileşen 1'e göredir: \ln(\pi_k/\pi_1)=\gamma_{k0}+\boldsymbol\gamma_k^\top\mathbf w (194–202). Açıklayıcılarda zaten bulunan bir sütun eş değişken olarak seçilirse eş değişkenlerden çıkarılır ve uyarı yazılır (102–105).
  • EM türü (siniflama): auto olağan (ağırlıklı) EM; CEM her gözlemi sert olarak en olası bileşene atar ve bileşenleri yalnız atanan gözlemlerle uydurur (Celeux ve Govaert, 1992; paketin classify = "CEM" seçeneği); SEM gözlemi sonsal olasılıkla rastgele atar ve hiç yakınsamaz (yineleme sayısı üst sınırı bulur). CEM ve SEM için refit çalışmaz ("Only for weighted ML estimation possible"), bu yüzden SH, z ve p sütunları boş (NaN) çıkar; tablo başlığı "SH hesaplanamadı" olur ve bir not satırı bunu açıklar (181–185).
  • En küçük bileşen oranı (en_kucuk_oran): EM sırasında oranı bu eşiğin altına düşen bileşen çıkarılır; sonuçta bileşen sayısı K'dan küçük olabilir ve şablon bunu bir uyarı satırıyla bildirir (159).
  • 1..K karşılaştırması: k=1,\dots,K için stepFlexmix ayrıca çalıştırılır (192–199); en çok zaman burada harcanır (süre yaklaşık K\times).

165.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–95 Üstbilgi: 12 parametre. Yan dosya alanı yok.
96–117 flexmix yüklenir; açıklayıcılar setdiff(P$x, P$y) ile yanıttan arındırılır; eş değişkenler açıklayıcılardan arındırılır; sütunlar df'den alınır, complete.cases ile eksik satırlar atılır; yanıt türü, n\ge10, sabitlik, Poisson ve 0/1 koşulları. Atılan eksik satır sayısı ve düşen eş değişken yazılır (103–109). Yanıt Veri sekmesinde "kategorik" olsa da sayısal rol olduğundan sayı olarak gelir.
118–132 Metin ve mantıksal sütunlar factor'a çevrilir; sabit sütun hatası; terim listesi (I(x^2)); formül; model matrisinin sıra (rank) denetimi; katsayı sayısı p_k (normal için +1); n<K(p_k+1)+5 denetimi. Sütun adları ters tırnakla korunur. Ondalık virgüllü metin sütunu ve tam doğrusal bağımlı terimler anlaşılır iletiyle durdurulur.
133–144 Model (FLXMRglm), kontrol listesi, CEM/SEM, eş değişken. İkili lojistikte stepFlexmix formülünün sol tarafı cbind(y, 1 - y)'dir (f_fit, 129–131).
145–159 uydur(k) işlevi: stepFlexmix, hata → NULL (paket iletisi son_hata'da), uyarılar uyari vektörüne toplanır. Yakınsama bayrağı ve CEM/SEM notu. Uydurulan bileşen sayısı K'dan azsa uyarı. Hata iletisi kullanıcıya iletilir.
160–164 Parametre matrisi, bileşenleri kesişime göre artan sıralayan sira, önsel oranlar, refit. Etiket değişimini önlemek için sıra birinci katsayıdadır.
165–185 Katsayı tablosu: SH, z, p refit'ten; K=1 ise glm'den. refit başarısız olursa (CEM/SEM) SH boş kalır; başlık ve not satırı bunu söyler.
186–193 Sonsal olasılıklar, atama (max.col), göreli entropi, log-olabilirlik, oranlar, \sigma, atanan sayıları. \sigma yalnız normal bileşende dolu.
194–207 Eş değişken katsayıları (varsa); "Model uyumu" tablosu; konsol satırı. ICL sert atamayla, entropi yumuşak.
192–200 1..K bilgi ölçütleri tablosu; uyarı satırı. k=K_f için yeniden uydurulmaz.
201–210 Dağılım grafiği (ilk açıklayıcıya karşı yanıt, atamaya göre renk). Grafik uydurulan eğrileri çizmez.

165.6 Elle hesap: örnek veride bağımsız yeniden hesap

Ara değerler dogrulama/sonlu_karisim_regresyon/elle_hesap.py (numpy/scipy; flexmix ve şablon çağrılmaz) ve r_dogrulama.R (yalnız temel R; optim, optimHess) ile hesaplanmıştır. İkisi de aynı EM'i kendi başına yazar: rastgele sorumluluklarla başlar (20 başlangıç), ağırlıklı en küçük kareler (normal) ya da IRLS (Poisson) ile M adımını yürütür ve göreli log-olabilirlik değişimi 10^{-14}'ün altına inene kadar sürer.

Adım 1 — Log-olabilirlik ve parametreler (şablonun tanımıyla). \sigma_k^2=\sum\tau r^2/\sum\tau\cdot n/(n-3) ile EM'in 20 başlangıcının hepsi -642{,}545166'da birleşir (yerel en büyük yok). \hat\pi=(0{,}494155;\ 0{,}505845), \hat\sigma=(3{,}475666;\ 3{,}480227), \ell=-642{,}5451665, d=9, \mathrm{AIC}=1303{,}090333, \mathrm{BIC}=1332{,}775189. Sert atama entropisiyle \mathrm{ICL}=1369{,}175329; yumuşak entropiyle 1388{,}0716. Atanan sayıları 100/100. Şablonun çıktısıyla ve R hesabıyla 10^{-6} içinde aynıdır.

Adım 2 — EM katsayıları. Aynı çözümde \hat{\boldsymbol\beta}_1=(-0{,}208510;\ 4{,}816505;\ 0{,}036281), \hat{\boldsymbol\beta}_2=(14{,}717914;\ 9{,}845807;\ -0{,}968270). Bunlar şablonun tablosundakilerle (4{,}814464 ve 9{,}848309 vb.) birebir aynı değildir: tablo refit çözümüdür (165.4.3). Bu yüzden katsayı karşılaştırması aşağıda tam en çok olabilirlik çözümüyle yapılır.

Adım 3 — Tam en çok olabilirlik ve SH. Bütün parametreler (6 katsayı, 2 \ln\sigma, 1 lojit) üzerinde BFGS ve ardından Newton adımlarıyla olabilirlik en büyüklenir; Hessian sayısal (h=10^{-4} merkezî fark) alınır. Sonuç \ell=-642{,}5320137; \hat{\boldsymbol\beta}_1=(-0{,}208588;\ 4{,}814502;\ 0{,}036537), \hat{\boldsymbol\beta}_2=(14{,}712879;\ 9{,}848458;\ -0{,}968530); SH (1{,}009204;\ 0{,}509612;\ 0{,}049755) ve (1{,}323777;\ 0{,}591588;\ 0{,}055261). Şablonun tablosuyla katsayılarda en çok 7\cdot10^{-5}, SH'lerde 2\cdot10^{-6} fark vardır. Saf olabilirlikte \hat\sigma=(3{,}444404;\ 3{,}450931), \hat\pi=(0{,}494000;\ 0{,}506000), \mathrm{BIC}=1332{,}748884 (şablonunkinden 0{,}026 küçük).

Adım 4 — K=1. Doğrusal model: \hat{\boldsymbol\beta}=(4{,}678682;\ 8{,}505582;\ -0{,}565838), \sigma^2=\mathrm{SSE}/(n-3) ile \ell=-728{,}314881, d=4, \mathrm{BIC}=1477{,}823032; şablonun bilgi ölçütleri tablosundaki ilk satırla aynıdır (ICL = BIC çünkü sert entropi 0).

Adım 5 — Poisson. yp için iki bileşenli Poisson karışımı: \ell=-440{,}386927, d=7, \mathrm{AIC}=894{,}773854, \mathrm{BIC}=917{,}862076; katsayılar ve SH tabloyla 10^{-4} içinde aynıdır. Poisson EM'i düz bir olabilirlik yüzeyinde yavaş yakınsar; \hat\pi ve ICL bağımsız hesapla 10^{-4} ve 4\cdot10^{-3} farklıdır (aşağıdaki tabloda ölçütler buna göre).

165.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark Ölçüt
Normal: log-olabilirlik −642,5451665 −642,54516648 −642,54516648 3,5e−11 1e−6 ✓
Normal: parametre sayısı 9 9 9 0 1e−6 ✓
Normal: AIC 1303,09033301 1303,09033296 1303,09033296 3,4e−11 1e−6 ✓
Normal: BIC 1332,77518931 1332,77518926 1332,77518926 3,4e−11 1e−6 ✓
Normal: ICL (sert atamayla) 1369,17532834 1369,17532881 1369,17532881 3,4e−10 1e−4 ✓
Normal: göreli entropi 0,80056037 0,80056037 0,80056037 5,0e−9 1e−4 ✓
Normal: karışım oranı, bileşen 1 0,49415537 0,49415536 0,49415536 1,1e−8 1e−4 ✓
Normal: \sigma, bileşen 1 3,47566592 3,47566571 3,47566571 6,0e−8 1e−4 ✓
Normal: atanan sayısı, bileşen 1 100 100 100 0 1e−6 ✓
Normal: karışım oranı, bileşen 2 0,50584463 0,50584464 0,50584464 1,1e−8 1e−4 ✓
Normal: \sigma, bileşen 2 3,48022694 3,4802271 3,4802271 4,4e−8 1e−4 ✓
Normal: atanan sayısı, bileşen 2 100 100 100 0 1e−6 ✓
Normal: katsayı, bileşen 1, kesişim −0,20851874 −0,20858801 −0,20856561 6,9e−5 2e−4 ✓
Normal: SH, bileşen 1, kesişim 1,00920642 1,0092038 1,00920791 2,6e−6 2e−4 ✓
Normal: katsayı, bileşen 1, x 4,81446435 4,8145016 4,81448637 7,7e−6 2e−4 ✓
Normal: SH, bileşen 1, x 0,50960961 0,50961242 0,50961436 4,8e−6 2e−4 ✓
Normal: katsayı, bileşen 1, x^2 0,03654004 0,03653655 0,03653809 3,5e−6 2e−4 ✓
Normal: SH, bileşen 1, x^2 0,0497551 0,04975532 0,04975547 3,7e−7 2e−4 ✓
Normal: katsayı, bileşen 2, kesişim 14,71322518 14,71287938 14,71291588 2,4e−5 2e−4 ✓
Normal: SH, bileşen 2, kesişim 1,32377436 1,32377723 1,32377188 2,2e−6 2e−4 ✓
Normal: katsayı, bileşen 2, x 9,84830961 9,84845789 9,84843779 1,5e−5 2e−4 ✓
Normal: SH, bileşen 2, x 0,59158298 0,59158769 0,59158545 4,7e−6 2e−4 ✓
Normal: katsayı, bileşen 2, x^2 −0,96851718 −0,96852993 −0,96852799 1,3e−5 2e−4 ✓
Normal: SH, bileşen 2, x^2 0,0552603 0,05526062 0,05526045 3,2e−7 2e−4 ✓
Normal, K=1: log-olabilirlik (\sigma^2=\mathrm{SSE}/(n-p)) −728,31488133 −728,31488133 −728,31488133 3,1e−16 1e−6 ✓
Normal, K=1: BIC 1477,82303213 1477,82303213 1477,82303213 1,7e−15 1e−6 ✓
Normal, K=2 (bilgi ölçütleri tablosu): BIC 1332,77518931 1332,77518926 1332,77518926 3,4e−11 1e−6 ✓
Poisson: log-olabilirlik −440,3869271 −440,38692688 −440,38692688 4,9e−10 1e−6 ✓
Poisson: parametre sayısı 7 7 7 0 1e−6 ✓
Poisson: AIC 894,7738542 894,77385377 894,77385377 4,8e−10 1e−6 ✓
Poisson: BIC 917,86207576 917,86207533 917,86207533 4,7e−10 1e−6 ✓
Poisson: ICL (sert atamayla) 1060,74057436 1060,74433195 1060,74433254 3,5e−6 1e−4 ✓
Poisson: göreli entropi 0,26786357 0,26785422 0,26785422 9,3e−6 1e−4 ✓
Poisson: karışım oranı, bileşen 1 0,46692675 0,46698702 0,46698703 6,0e−5 1e−4 ✓
Poisson: atanan sayısı, bileşen 1 84 84 84 0 1e−6 ✓
Poisson: karışım oranı, bileşen 2 0,53307325 0,53301298 0,53301297 6,0e−5 1e−4 ✓
Poisson: atanan sayısı, bileşen 2 116 116 116 0 1e−6 ✓
Poisson: katsayı, bileşen 1, kesişim 1,24434891 1,24430534 1,24436695 3,5e−5 2e−4 ✓
Poisson: SH, bileşen 1, kesişim 0,28615794 0,2860666 0,28607458 9,1e−5 5e−4 ✓
Poisson: katsayı, bileşen 1, x 0,05897596 0,05898545 0,05895666 1,9e−5 2e−4 ✓
Poisson: SH, bileşen 1, x 0,10624034 0,10632146 0,10632087 8,1e−5 5e−4 ✓
Poisson: katsayı, bileşen 1, x^2 5,097040·10−4 5,087542·10−4 5,113121·10−4 1,6e−6 2e−4 ✓
Poisson: SH, bileşen 1, x^2 0,00899378 0,00898804 0,00898796 5,8e−6 5e−4 ✓
Poisson: katsayı, bileşen 2, kesişim 1,78608234 1,78613611 1,78613358 3,0e−5 2e−4 ✓
Poisson: SH, bileşen 2, kesişim 0,20675139 0,20666049 0,20667618 9,1e−5 5e−4 ✓
Poisson: katsayı, bileşen 2, x −0,09492633 −0,09492728 −0,0949304 4,1e−6 2e−4 ✓
Poisson: SH, bileşen 2, x 0,10090064 0,10123136 0,1012345 3,3e−4 5e−4 ✓
Poisson: katsayı, bileşen 2, x^2 −0,00796546 −0,00796768 −0,00796715 2,2e−6 2e−4 ✓
Poisson: SH, bileşen 2, x^2 0,01128104 0,01135722 0,01135741 7,6e−5 5e−4 ✓
Poisson, K=1: log-olabilirlik −460,1163664 −460,1163664 −460,1163664 1,1e−15 1e−6 ✓

Ölçütü karşılayan: 50/50. Bağımsız Python ve R: flexmix kullanılmadan, kendi EM'i (normal bileşende şablonun kullandığı \sigma^2=\sum w r^2/\sum w\times N/(N-p) tanımıyla) ve tüm parametrelerde en çok olabilirlik (BFGS, Newton cilası, sayısal Hessian) ile. Katsayı ve SH şablonda refit (optim) çıktısından geldiği için bağımsız tam en çok olabilirlik çözümüyle 10^{-4} düzeyinde uyuşur; ölçüt bu satırlarda 2\cdot10^{-4}'tür.

Ek denetimler: (i) flexmix vinyetinin belgelediği normal karışım değerleri (\ell=-642{,}5451; bileşen 1: -0{,}2085;\ 4{,}8145;\ 0{,}0365; bileşen 2: 14{,}713;\ 9{,}848;\ -0{,}9685) şablonla uyuşur. Üstbilgi Poisson için -440{,}6424 verir; bu değer x içinde karesiz modele aittir: şablonun karesiz Poisson uydurması (\mathrm{kare} kapalı) -440{,}6403 verir ve fark 2\cdot10^{-3}'tür, kareli örnek ayarda -440{,}3869'dur. (ii) Bağımsız hesap ile şablon arasında bileşen sırası aynıdır (kesişime göre artan). (iii) 20 başlangıçlı bağımsız EM, K=2'de tek bir çözüme birleşir.

165.7 Çıktıyı okuma

Örnek ayarın konsol çıktısı (p4_sk_ornek):

2 bileşenli karışım (gaussian), n = 200, logLik = -642,5452, BIC = 1332,775, 5 başlangıç

Tablolar (Sonuçlar sekmesi; ondalık nokta tablodaki gibi):

Bileşen katsayıları (2 bileşen, SH ortak bilgi matrisinden)
 bilesen        terim  kestirim       SH          z             p
       1  (Intercept)  -0.208519  1.009206  -0.206616  8.363094e-01
       1            x   4.814464  0.509610   9.447357  3.474931e-21
       1       I(x^2)   0.036540  0.049755   0.734398  4.627061e-01
       2  (Intercept)  14.713226  1.323774  11.114602  1.065243e-28
       2            x   9.848309  0.591583  16.647383  3.161276e-62
       2       I(x^2)  -0.968517  0.055260 -17.526454  9.001004e-69

Karışım oranları ve bileşen büyüklükleri
 bilesen  karisim_orani     sigma  atanan
       1       0.494155  3.475665     100
       2       0.505845  3.480227     100

Model uyumu
 logLik     -642.545166    parametre sayısı 9    AIC 1303.090333
 BIC 1332.775189    ICL 1369.175330    göreli entropi 0.800560    EM yineleme 26

Bileşen sayısına göre bilgi ölçütleri
 K      logLik          AIC          BIC          ICL
 1 -728.314881  1464.629763  1477.823032  1477.823032
 2 -642.545166  1303.090333  1332.775189  1369.175330

(Tablolar sütun düzeniyle kısaltılmıştır; değerler dogrulama/cikti/p4_sk_ornek/ altındaki tablo1–4.pkl dosyalarındandır.)

Şekil 165.1. Şablonun çizdiği dağılım grafiği (örnek veri): renk, en büyük sonsal olasılıkla atanan bileşendir. Alt grup 1 (mor) doğrusal kolu, alt grup 2 (turuncu) parabolü yakalar; x\approx 4–9 aralığında iki kol kesiştiği için atamalar orada belirsizdir.

Öğe Ne yazar Nasıl yorumlanır
kestirim, SH, z, p Bileşenin katsayıları ve Wald testi. Her bileşen kendi regresyonudur. Bileşen 2'de x^2 katsayısı anlamlı (z=-17{,}5), bileşen 1'de değil (p=0{,}46): bileşen 1 doğrusal, bileşen 2 eğridir. Etiket sırası kesişimle verilir ve anlamsal değildir.
karisim_orani \hat\pi_k Evrenin yaklaşık yüzde kaçının o bileşenden olduğu. Eş değişken varsa ortalama olasılık.
sigma Bileşenin artık sd'si Yalnız normal bileşende. Flexmix tanımıyla (165.4.2) saf olabilirlikten %0,9 büyük.
atanan Sert atamada gözlem sayısı max.col ile en büyük \tau_{ik}; \sum_k\tau_{ik} değil, tam sayıdır ve \hat\pi_kn'e eşit olmak zorunda değildir.
logLik, AIC, BIC Uyum ve ceza Küçük AIC/BIC iyidir. BIC en çok güvenilen ölçüttür ama olabilirlik yüzeyi düzken K'yı küçük seçer.
ICL BIC + sert atama entropisi Bileşenler iyi ayrılmıyorsa BIC'ten belirgin büyük olur ve daha az bileşeni seçer. Burada fark 36{,}4.
göreli entropi 1 − yumuşak entropi / (n\ln K) 1'e yakın: ayrılabilir bileşenler. Örnekte 0{,}80; 0{,}6 altı zayıf ayrışma işaretidir (ör. K=3 tek bileşenli veride 0{,}61).
EM yineleme Son EM yineleme sayısı Yakınsadı demek değildir; üst sınıra (5000 ya da en_cok_yineleme) eşitse yakınsama olmamıştır; olağan EM'de bu durumda şablon ayrıca uyarı yazar (165.8).
Bilgi ölçütleri tablosu 1..K için ölçütler K=3 log-olabilirliği artırır (-636{,}28) ama BIC 1346{,}73 ile K=2'den (1332{,}78) kötüdür; tablo K=2'yi seçer.

Rapor cümlesi. Yanıt yn, açıklayıcı x ve x^2 ile iki bileşenli normal sonlu karışım regresyonu uydurulmuştur (EM, 5 rastgele başlangıç; n=200). Bileşen oranları 0{,}49 ve 0{,}51 bulunmuştur. Birinci bileşende x'in eğimi 4{,}81 (\mathrm{SH}=0{,}51) ve kareli terim anlamsızdır (p=0{,}46); ikinci bileşende eğim 9{,}85 (\mathrm{SH}=0{,}59) ve kareli terim -0{,}97'dir (\mathrm{SH}=0{,}055). Bilgi ölçütleri iki bileşeni destekler (\mathrm{BIC}=1332{,}8; tek bileşen 1477{,}8; üç bileşen 1346{,}7).

165.8 Sık hatalar ve tuzaklar

  • Yerel en büyük. Tek başlangıçla K=3 uydurması, 8 tohumda üç farklı çözüm verir: \ell=-636{,}2778 (tohum 1 ve 4), -638{,}4441 (2, 3 ve 8) ve -639{,}5865 (5, 6 ve 7). BIC'ler 1346{,}73, 1351{,}07, 1353{,}35'tir. En iyi çözüm bile oranı 0{,}06 ve \sigma=0{,}79 olan küçük bir bileşen içerir ve bu bileşen gerçek bir alt grup olmayabilir (sonraki madde). K\ge3 için başlangıç sayısını artırın (varsayılan 20); örnek ayardaki 5 başlangıç K=2 için yeterlidir.
  • Sahte bileşen. Bileşen sayısı gerçek sayıdan büyük seçilirse küçük oranlı ve çok küçük \sigma'lı bileşenler ortaya çıkar. Tek bileşenli benzetimde (n=150, gerçek \sigma=2) K=2 uydurması \hat\pi=(0{,}076;\ 0{,}924) ve \hat\sigma=(0{,}27;\ 1{,}93) verir ve \ell'yi 4{,}8 artırır; BIC 663{,}2 (tek bileşen: 652{,}8) bunu reddeder. Üç bileşenli doğru modelde (n=450) K=4'te oranı 0{,}068 olan fazladan bir bileşen çıkar; BIC K=3'ü seçer (2613{,}5 karşı 2633{,}4). en_kucuk_oran eşiği yalnız oranı kontrol eder; küçük \sigma'ya (olabilirliğin tekilliği) karşı koruma yoktur.
  • Yakınsama bayrağı. en_cok_yineleme = 10 verildiğinde şablon \ell=-643{,}0001 ile "Model uyumu"nda EM yineleme = 10 yazar ve "EM yineleme sınırına (10) ulaştı ve yakınsamadı" uyarısı verir; sonuç yakınsamamış bir çözümdür (m@converged yanlış). SEM ve CEM için bayrak kullanılmaz: SEM her zaman üst sınırı (5000) bulur ve şablon bunu bir not satırıyla belirtir.
  • Eksik değerli satırlar. Eksik değerli satırlar atılır ve sayısı yazılır (eksik.csv: 15 satır silinir, n=185). Eksikliğin hangi sütunda olduğu yazılmaz; yanıt, açıklayıcı ve eş değişken sütunlarında ayrı ayrı denetleyin.
  • Eş değişken, açıklayıcıyla aynı. Aynı sütun hem açıklayıcı hem eş değişken seçilirse eş değişken düşer ve bir uyarı satırı bunu bildirir (103–105); sonuç eş değişkensiz modelin aynısıdır (\ell=-642{,}5452) ve eş değişken tablosu çıkmaz.
  • Eş değişken ayrıştırıyorsa. Gerçek sınıfı (class) eş değişken olarak seçmek üyelikleri neredeyse tam ayırır: lojit katsayıları 25{,}06 ve -37{,}62, oranlar 0{,}5/0{,}5, SH'ler güvenilmez. Eş değişken, bileşeni tanımlayan değişkenin kendisi olmamalıdır.
  • İkili lojistik. aile = binomial seçildiğinde flexmix yanıtı iki sütunlu (başarı, başarısızlık) ister; şablon formülün sol tarafını cbind(y, 1 - y) yapar (129–131) ve 0/1 yanıtla çalışır. Tam ayıran verilerde olabilirlik düz kalabilir ve çözüm kararsızlaşabilir; bileşen katsayılarına dikkat edin.
  • Tam doğrusal bağımlı açıklayıcılar. x ve 2x birlikte seçildiğinde model matrisinin sırası eksik kalır ve şablon "Açıklayıcılar tam doğrusal bağımlı" iletisiyle durur; iletide bağımlı terim adlandırılır (128–131). Sayısal sütunun bir kopyasını ya da başka sütunun doğrusal bileşimini çıkarın.
  • Ondalık virgüllü sütun. 4,177 gibi virgüllü sayılarla okunmuş bir açıklayıcı Veri sekmesinde metindir; şablon bunu fark eder ve "sütunu metin olarak okundu (ondalık virgüllü sayılar)" iletisiyle durur (121). Veri sekmesinde ondalık ayracını nokta yapın.
  • Sayısal sütun "kategorik" gelirse. Açıklayıcı olarak seçilen 1–4 puanlı tam sayı sütunu Veri sekmesinde "kategorik" ise kukla kodlanır ve kare o sütun için uygulanmaz (örnekte puan2…puan4). Sayısal etki isteniyorsa sütunun türünü Veri sekmesinde sayısal yapın.
  • Kategorik düzeylerin sırası. Kukla katsayıların adı ve başvuru düzeyi 1.3'teki kurala bağlıdır: 10, 2, 1 etiketli sütun 1, 2, 10 sırasını alır (başvuru 1; katsayılar etiket2, etiket10). İki düzeyli metin sütununda başvuru alfabetik ilk düzeydir.
  • Bileşen etiketi anlamsızdır. Bileşenler kesişime göre sıralanır; "bileşen 1" "düşük kesişimli grup" demektir. Yeni bir uydurmada ya da başka bir tohumda etiket aynı kalır ama K değişince kayabilir.
  • CEM ve SEM çıktıları. CEM'in log-olabilirliği (-642{,}9905) ve SEM'in (-642{,}6613) olağan EM'den (-642{,}5452) kötüdür ve SH yoktur. Bu EM türleri yalnız hızlı keşif içindir.
  • Tohum. Başlangıçlar rastgeledir; sonucu yinelemek için Kod panelindeki Tohum alanını (Bölüm 1.3) kullanın. Şablonun kendi formunda tohum alanı yoktur. K=2'de örnek veride sonuç tohumdan bağımsızdır (3 tohumda log-olabilirlik -642{,}5452).

165.9 Uzman soruları

S1. Raporlanan log-olabilirlik neden saf en çok olabilirlik değeri değil?

flexmix, normal bileşende \sigma^2'yi \sum w r^2/\sum w\times n/(n-p) ile kestirir; EM bu \sigma ile iterasyonu sürdürür ve sabit noktası olabilirliğin gerçek en büyüğü değildir. Örnekte -642{,}5452 ile -642{,}5320 arasındaki fark 0{,}0132'dir ve model seçimini değiştirmez, ama başka bir programın değeriyle (n/(n-p) düzeltmesiz) birebir karşılaştırılamaz. Düzeltme toplam n ve p ile yapıldığından bileşenin kendi etkin örneklem büyüklüğüne bakmaz; küçük bileşenlerde \sigma bu yüzden yine de aşağı yanlıdır.

S2. Tablodaki katsayılar neden EM çözümünün katsayıları değil?

Şablon, EM çözümünü refit'e verir ve refit bütün parametrelerde olabilirliği yeniden en büyükler; kod EM katsayısının üstüne bu çözümün katsayısını yazar (173). refit çözümünde \sigma da serbest ve saf olabilirlik tanımındadır, EM çözümünde değil. İki çözüm x katsayısında 2\cdot10^{-3} ayrışır (4,8165 ve 4,8145). Karşılaştırma yapılacaksa tablodaki katsayılarla saf olabilirlik çözümü (4{,}8145) uyuşur; \sigma ve log-olabilirlik ise EM çözümünündür.

S3. Bileşen sayısını nasıl seçmeliyim: AIC, BIC mi ICL mi?

AIC ayrışmayan bileşenleri de ödüllendirir ve çoğunlukla büyük K seçer (K=3 örnekte AIC 1300{,}56, K=2'nin 1303{,}09'undan küçüktür). BIC'in cezası d\ln n daha sıkıdır (örnekte K=2). ICL, ayrışmayı da cezalandırır; amaç anlamlı, ayrılabilir gruplar ise ICL'yi tercih edin. Üçü de çelişirse iki K değerini de bileşen büyüklükleri ve \sigma ile yorumlanabilirliğine göre değerlendirin; çok küçük oranlı (<0{,}1) ve çok küçük \sigma'lı bileşen sahte olabilir (165.8).

S4. Şablon gerçek en büyüğü bulduğunu nasıl garanti eder?

Garanti etmez. En yüksek log-olabilirlikli çözümü baslangic rastgele başlangıç arasından seçer ve K=3 örneğinde tek başlangıç üç farklı çözüm verdi (165.8). Çok başlangıçlı çözümlerin hepsi aynı değeri veriyorsa güven artar: bağımsız hesapta K=2 için 20 başlangıcın tümü -642{,}5452 verdi. Şablon başlangıçlar arası tutarlılığı çıktıya yazmaz; kullanıcı aynı ayarı iki üç tohumla yineleyerek bakmalıdır.

S5. `en_cok_yineleme` yetmezse ne olur?

EM üst sınırda kesilir, şablon o ana kadarki çözümü refit ile işler, yineleme sayısını "EM yineleme" satırına yazar ve olağan EM için "yakınsamadı" uyarısı verir. Örnekte 10 yineleme \ell=-643{,}0001 verdi (yakınsamış -642{,}5452'den 0{,}455 kötü). Çözüm en_cok_yineleme artırmak ve toleransı gevşetmemektir.

S6. Eş değişkenli model neden bazen \pi'yi kararsız bırakır?

Eş değişken üyeliği neredeyse tam ayırıyorsa çok terimli lojit tam ayrışmaya gider ve katsayılar sonsuza kaçar (örnekte 25{,}06 ve -37{,}62); SH güvenilmez olur, "karışım oranı" ortalama olasılıktan ibaret kalır. Bu, eş değişkenin bileşeni zaten tanımladığının işaretidir; bu durumda bileşen değişkeni açıklayıcı olarak ve etkileşimle modellemek daha doğrudur.

S7. CEM ve SEM neden SH vermez?

refit yalnız ağırlıklı en çok olabilirlik kestiriminde çalışır ("Only for weighted ML estimation possible"); CEM sert atama, SEM rastgele atama yaptığından olabilirlik tamlanmamış veri olabilirliği değildir. Şablon bu durumda SH, z ve p sütunlarını NaN bırakır, tablo başlığını "SH hesaplanamadı" yapar ve bir not satırı yazar. CEM ve SEM çözümleri yalnız başlangıç değeri üretmek ve hızlı keşif için uygundur; çıkarım için olağan EM kullanılmalıdır.

S8. ICL ile şablonun "göreli entropisi" neden aynı entropiyi kullanmaz?

flexmix::ICL sert atamanın log-olasılığını (-\sum_i\ln\tau_{i,\hat k_i}) BIC'e ekler. Şablonun "göreli entropi" satırı ise yumuşak Shannon entropisini n\ln K'e bölüp 1'den çıkarır (188). İki ölçü farklı şeyi ölçer: biri atama kesinliğini, öteki ceza terimini. Raporlarken hangi entropinin hangi ölçüte girdiği belirtilmelidir.

165.10 Kaynaklar

  • Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723. https://doi.org/10.1109/TAC.1974.1100705
  • Biernacki, C., Celeux, G., & Govaert, G. (2000). Assessing a mixture model for clustering with the integrated completed likelihood. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(7), 719–725. https://doi.org/10.1109/34.865189
  • Celeux, G., & Govaert, G. (1992). A classification EM algorithm for clustering and two stochastic versions. Computational Statistics & Data Analysis, 14(3), 315–332.
  • Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22. https://doi.org/10.1111/j.2517-6161.1977.tb01600.x
  • DeSarbo, W. S., & Cron, W. L. (1988). A maximum likelihood methodology for clusterwise linear regression. Journal of Classification, 5(2), 249–282. https://doi.org/10.1007/BF01897167
  • Grün, B., & Leisch, F. (2008). FlexMix version 2: Finite mixtures with concomitant variables and varying and constant parameters. Journal of Statistical Software, 28(4), 1–35. https://doi.org/10.18637/jss.v028.i04
  • Grün, B., & Leisch, F. (2026). flexmix: Flexible mixture modeling (R paketi, sürüm 2.3-21). https://CRAN.R-project.org/package=flexmix
  • Leisch, F. (2004). FlexMix: A general framework for finite mixture models and latent class regression in R. Journal of Statistical Software, 11(8), 1–18. https://doi.org/10.18637/jss.v011.i08
  • R Core Team (2026). R: A language and environment for statistical computing. R Foundation for Statistical Computing.
  • Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6(2), 461–464. https://doi.org/10.1214/aos/1176344136
  • Wedel, M., & DeSarbo, W. S. (1995). A mixture likelihood approach for generalized linear models. Journal of Classification, 12(1), 21–55. https://doi.org/10.1007/BF01202266