MerQuR+Başvuru Kitabı

74. Diskriminant Analizi (LDA / QDA)

Analiz kimliği: discriminant · Menü adı: Diskriminant Analizi (LDA / QDA) · Panel: gui/panels/analyses/discriminant_panel.py · Motor: stats/discriminant_analysis.py, run_discriminant (satır 231–466), _canonical_discriminant (113–177), _box_m (180–226), npar_posteriors (489–539); ek çıktılar panelde _disc_extras (614–725)

74.1 Ne işe yarar

Diskriminant analizi iki soruyu birlikte yanıtlar. Sınıflama: sayısal ölçümleri bilinen yeni bir gözlem, önceden tanımlı sınıflardan hangisine atanmalıdır? Betimleme: sınıfları en iyi ayıran ölçüm birleşimleri hangileridir ve kaç boyut yeterlidir? Örnekte, beş laboratuvar ölçümünden (lökosit, CRP, kreatinin, AST, hemoglobin) hastanın sağlıklı, hafif ya da ağır sınıfında olduğu kestirilir.

Sınıflama Bayes kuralıyla yapılır:

P(Y=k\mid\mathbf x)=\frac{\pi_k\,f_k(\mathbf x)}{\sum_{l=1}^{K}\pi_l\,f_l(\mathbf x)},\qquad f_k(\mathbf x)=\frac{1}{(2\pi)^{p/2}|\boldsymbol\Sigma_k|^{1/2}}\exp\!\left\{-\tfrac12(\mathbf x-\boldsymbol\mu_k)^{\top}\boldsymbol\Sigma_k^{-1}(\mathbf x-\boldsymbol\mu_k)\right\}
  • \mathbf x: p sayısal açıklayıcıdan oluşan gözlem vektörü.
  • \pi_k: k. sınıfın önsel olasılığı; K sınıf sayısı.
  • f_k: k. sınıfta çok değişkenli normal yoğunluk; \boldsymbol\mu_k sınıf ortalaması, \boldsymbol\Sigma_k sınıf kovaryans matrisi.
  • LDA (doğrusal): tüm sınıflarda \boldsymbol\Sigma_k=\boldsymbol\Sigma; karar sınırları doğrusaldır. QDA (karesel): \boldsymbol\Sigma_k sınıfa göre farklı; sınırlar ikinci derecedendir.

MerQur ayrıca parametrik olmayan iki sınıflayıcı sunar: kNN ve çekirdek yoğunluğu. Sınıflayıcıdan bağımsız kanonik diskriminant fonksiyonlarını (Fisher 1936) da her çalıştırmada hesaplar.

Ne zaman kullanılır? Hedef kategorik, açıklayıcılar sayısal ve sınıf içinde yaklaşık çok değişkenli normalse; sınıfları ayıran boyutları (kanonik fonksiyonlar) yorumlamak isteniyorsa.

Ne zaman kullanılmaz?

  • Açıklayıcılar kategorik ya da karışıksa: Naive Bayes ya da Multinomial Lojistik Regresyon (MerQur LDA'da yalnız sayısal sütunları kabul eder).
  • Amaç açıklayıcıların etkisini OR ile kestirmek ve test etmekse: Multinomial Lojistik Regresyon; iki sınıfta İkili Lojistik Regresyon.
  • Sınıfların ortalama vektörlerinin eşitliği test edilecekse (sınıf açıklayıcı, ölçümler bağımlı): MANOVA; matematik aynıdır ama soru yönü terstir.
  • Açıklayıcı sayısı sınıf büyüklüğüne yaklaşıyorsa: QDA kestirilemez; LDA, Ridge ya da LASSO lojistik.

Sık karıştırılan analizler. MANOVA aynı \mathbf W ve \mathbf B matrislerinden Wilks Λ'yı hesaplar; diskriminant analizi bunların özvektörlerini (ayırıcı fonksiyonlar) ve sınıflama kuralını ekler. Lojistik regresyon sınıf olasılığını doğrudan modeller ve normallik varsaymaz; normallik ve ortak kovaryans doğruysa LDA daha verimlidir, değilse lojistik daha sağlamdır. Kümeleme (k-ortalamalar) sınıfları veriden bulur; diskriminant analizinde sınıflar bilinir.

74.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Kategorik hedef, sayısal X En az 2 sınıf, en az 2 sayısal açıklayıcı. 2'den az X ya da sınıf hata (discriminant_analysis.py:278–279, 307–312).
Çok değişkenli normallik (sınıf içinde) LDA/QDA sınıflama kuralı ve testler buna dayanır. Denetlenmez; parametrik olmayan yöntem seçilebilir.
Kovaryans matrislerinin eşitliği (LDA) \boldsymbol\Sigma_1=\dots=\boldsymbol\Sigma_K. Her çalıştırmada Box M testi (_box_m).
Yeterli örneklem En az 20 tam satır; QDA'da her sınıfta n_k\ge p+1. Hata (discriminant_analysis.py:303–305, 320–324).
Tam doğrusal bağımlılık yok \mathbf W tekil olmamalı. Tümü sabit X hata; kanonik çözüm ya da Box M tekilse uyarı (423–433).

Eksik değer. Hedef ve seçilen açıklayıcılardan herhangi biri eksik olan satır çıkarılır (liste bazında; sayıya çevrilemeyen değer de eksik sayılır, discriminant_analysis.py:297–302). Tüm ek çıktılar aynı satırlarla hesaplanır.

Uç durumlar. QDA'da bir CV katının eğitim kısmında sınıf başına n\le p kalırsa CV doğruluğu "—" yazılır ve kat sayısı düşürülmez (discriminant_analysis.py:382–393). En küçük sınıf CV kat sayısından küçükse kat sayısı otomatik olarak \max(2,\min_k n_k)'ya indirilir (369). Çekirdek yönteminde yarıçap içinde hiç eğitim gözlemi olmayan gözlem sınıflanamaz ve yanlış sınıflanmış sayılır (_npar_pred, uyarı disc_npar_warn_unclassified).

74.3 Parametreler

Varsayılanlar discriminant_panel.py:43–325 ve stats_panel.py:8975–9002'ten alınmıştır.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Hedef sınıf veriye bağlı Sınıf değişkeni (metin ya da sayı kodlu). Sınıflar MerQur düzey sırasıyla dizilir (Veri sekmesinde tanımlı sıra; yoksa sayısal ya da doğal sıra; o da yoksa verideki ilk görülme sırası).
Yöntem LDA (doğrusal) LDA, QDA (karesel), kNN, Çekirdek yoğunluk. Sınıflama kuralı; kanonik çözüm ve Box M her yöntemde aynıdır.
kNN: komşu sayısı k 5 Yalnız kNN'de etkin. Komşuluk büyüklüğü.
Çekirdek: yarıçap r 1,0 Yalnız çekirdekte etkin. Yoğunluk bant genişliği.
Çekirdek Uniform Uniform, Normal, Epanechnikov, Biweight, Triweight. Çekirdek biçimi.
Uzaklık metriği Mahalanobis (havuzlanmış kovaryans) Mahalanobis, Köşegen, Öklid. kNN ve çekirdekte uzaklık.
CV kat sayısı 5 Karıştırmasız tabakalı k-kat CV (LDA/QDA). Yalnız CV satırı.
Önsel olasılıklar Eşit (1/K; varsayılan) Eşit, Sınıf oranları, Kullanıcı tanımlı. Sonsallar, sınıflama, LD yüzdeleri, Fisher sabitleri. Kanonik çözümü değiştirmez.
Önsel değerleri boş (pasif) "0.5, 0.3, 0.2" ya da "0,5; 0,3; 0,2" (çıktıdaki sınıf sırası). Toplamı 1'e ölçeklenir.
Bağımsız değişkenler en az 2 sayısal Açıklayıcılar. —
Ek çıktılar: Fisher sınıflama fonksiyonu katsayıları kapalı Sınıf başına doğrusal fonksiyon. Ek tablo.
Ek çıktılar: Grup ortalamalarının eşitliği kapalı Değişken başına Wilks Λ ve F. Ek tablo.
Ek çıktılar: Birini-dışarıda-bırak (LOO) kapalı Her gözlem kendisi olmadan sınıflanır. Ek tablo.
Ek çıktılar: Adımsal değişken seçimi kapalı Wilks Λ ile adım tablosu. Ek tablo; isteğe bağlı yeniden kurma.
Ek çıktılar: Kovaryans matrisleri kapalı Havuzlanmış, grup ve toplam. Ek tablolar.
Ek çıktılar: Kanonik skor grafiği kapalı F1 × F2 saçılım + merkezler. Grafik.
Ek çıktılar: Kaydet kapalı Dis_class, Dis1_score…, Dis_P_. Veri setine sütun.
Adımsal seçim: F-giriş / F-çıkış 3,84 / 2,71 Giriş ve çıkış için kısmi F eşikleri. Seçilen değişkenler.
Modeli seçilen değişkenlerle yeniden kur kapalı Adım sonundaki kümeyle yeniden kestirim. Tüm model.
Adımsal seçim yöntemi: Yön / Ölçüt Adımsal / F Adımsal, İleri, Geri; F ya da p. Seçim yolu.
p-giriş / p-kalma 0,15 / 0,15 Giriş ve modelde kalma için p eşikleri. Yalnız ölçüt p iken.
Grafik Karışıklık matrisi / kanonik skorlar 3B ayırma skorları seçilebilir. Yalnız Grafik sekmesi.

Önsel neden "eşit" varsayılan?

R MASS::lda ve scikit-learn sınıf oranlarını kullanır; MerQur varsayılan olarak eşit önsel kullanır (discriminant_analysis.py:238–239), çünkü eşit önsel seyrek sınıfın duyarlılığını korur (S2). Sınıflar dengeliyse iki tanım aynıdır (bu örnekte her sınıfta 35 hasta); dengesizse "Sınıf oranları" seçilmeden R ile karşılaştırma yapılmamalıdır.

74.4 Tıp örneği

Dosya: english/datasets/Tip/84_diskriminant_3sinif_5lab.xlsx (Türkçe kopya samples/Tum_Analiz_Tip/84_diskriminant_3sinif_5lab.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #84'ten.

Değişken Rol Tür Sınıf ortalamaları (healthy / mild / severe)
class Hedef 3 sınıf 35 / 35 / 35
WBC_K_uL Açıklayıcı sürekli (10³/µL) 7,79 / 15,05 / 22,27
CRP_mg_L Açıklayıcı sürekli (mg/L) 5,29 / 78,83 / 193,21
creatinine Açıklayıcı sürekli (mg/dL) 0,92 / 1,51 / 3,05
AST_U_L Açıklayıcı sürekli (U/L) 24,66 / 59,17 / 112,40
Hb_g_dL Açıklayıcı sürekli (g/dL) 14,07 / 11,05 / 8,06

n ve eksik değer: 105 hasta, eksik değer yok.

Klinik soru: Beş laboratuvar ölçümü hastalık şiddet sınıfını ne doğrulukla ayırır ve ayrımı hangi ölçüm birleşimi taşır?

Bu veri kusursuz ayrışır

Bu sentetik veride her açıklayıcının sınıf aralıkları tek başına çakışmaz (ör. kreatinin: healthy 0,71–1,09; mild 1,17–1,84; severe 2,45–3,60). Bu nedenle LDA, QDA, kNN ve çekirdek yöntemlerinin hepsi %100 doğruluk verir ve sonsallar 1'e çok yakındır. Formüller ve doğrulama için veri yeterlidir; ama yöntemler arası doğruluk farkı bu veride gösterilemez. Box M testi ise kovaryans farkını açıkça gösterir (74.6, Adım 4).

Seçilen ayarlar: LDA, eşit önsel, 5 kat; tüm ek çıktılar açık. Ayrıca sınıf oranı önseli, kullanıcı önseli (0,2 / 0,3 / 0,5), QDA, kNN (k = 5, Mahalanobis) ve normal çekirdek (r = 1, Mahalanobis) ile ayrı çalıştırmalar ve p ölçütlü adımsal/ileri seçim.

74.5 Formüller ve hesap adımları

MerQur'un hesap sırası: (1) tam satırlar alınır, sınıflar MerQur düzey sırasıyla dizilir, önsel vektörü kurulur; (2) seçilen yöntemle sınıflayıcı uydurulur (LDA/QDA: scikit-learn; kNN/çekirdek: MerQur kodu), tüm veride yeniden yerine koyma doğruluğu ve CV doğruluğu hesaplanır; (3) yöntemden bağımsız olarak kanonik diskriminant çözümü ve Box M testi hesaplanır; (4) istenen ek çıktılar (Fisher fonksiyonları, tek değişkenli testler, LOO, adımsal seçim, kovaryanslar, skorlar) panelde aynı satırlardan üretilir.

74.5.1 Temel matrisler

\bar{\mathbf x}_k=\frac{1}{n_k}\sum_{i\in k}\mathbf x_i,\qquad \mathbf W=\sum_{k=1}^{K}\sum_{i\in k}(\mathbf x_i-\bar{\mathbf x}_k)(\mathbf x_i-\bar{\mathbf x}_k)^{\top},\qquad \mathbf B=\sum_{k=1}^{K}n_k(\bar{\mathbf x}_k-\bar{\mathbf x})(\bar{\mathbf x}_k-\bar{\mathbf x})^{\top}
\mathbf S_p=\frac{\mathbf W}{N-K},\qquad \mathbf S_k=\frac{1}{n_k-1}\sum_{i\in k}(\mathbf x_i-\bar{\mathbf x}_k)(\mathbf x_i-\bar{\mathbf x}_k)^{\top},\qquad \mathbf T=\mathbf W+\mathbf B
  • \mathbf W: grup içi kareler ve çarpımlar toplamı (SSCP) matrisi; \mathbf B: gruplar arası SSCP; \mathbf T: toplam SSCP.
  • \bar{\mathbf x}: genel ortalama (gözlem ağırlıklı); n_k sınıf büyüklüğü, N=\sum n_k.
  • \mathbf S_p: havuzlanmış grup içi kovaryans (\boldsymbol\Sigma'nın yansız kestirimi); \mathbf S_k: k. sınıfın kovaryansı.

Neden N-K?

Her sınıfta ortalama kestirildiği için K serbestlik derecesi harcanır; \mathbf W/(N-K) ortak kovaryansın yansız kestirimidir. Aynı bölen MANOVA'daki hata kareler ortalaması matrisidir.

74.5.2 LDA sınıflama kuralı ve Fisher sınıflama fonksiyonları

Ortak kovaryansta \ln\{\pi_kf_k(\mathbf x)\}'in k'ye bağlı kısmı doğrusaldır:

\delta_k(\mathbf x)=\mathbf a_k^{\top}\mathbf x+b_k,\qquad \mathbf a_k=\mathbf S_p^{-1}\bar{\mathbf x}_k,\qquad b_k=-\tfrac12\,\bar{\mathbf x}_k^{\top}\mathbf S_p^{-1}\bar{\mathbf x}_k+\ln\pi_k
\hat P(Y=k\mid\mathbf x)=\frac{\exp\{\delta_k(\mathbf x)\}}{\sum_{l}\exp\{\delta_l(\mathbf x)\}},\qquad \hat y=\arg\max_k\delta_k(\mathbf x)
  • \delta_k: k. sınıfın Fisher sınıflama fonksiyonu; \mathbf a_k katsayılar, b_k sabit.
  • b_k önseli içerir: önsel değişince yalnız sabitler kayar.
  • Eşdeğer biçim: \delta_k(\mathbf x)=-\tfrac12D_k^2(\mathbf x)+\ln\pi_k+c(\mathbf x); D_k^2=(\mathbf x-\bar{\mathbf x}_k)^{\top}\mathbf S_p^{-1}(\mathbf x-\bar{\mathbf x}_k) Mahalanobis uzaklığının karesi, c(\mathbf x)=-\tfrac12\mathbf x^{\top}\mathbf S_p^{-1}\mathbf x tüm sınıflarda aynı.

Neden doğrusal?

İki normal yoğunluğun log oranında -\tfrac12\mathbf x^{\top}\boldsymbol\Sigma^{-1}\mathbf x terimi ortak kovaryans sayesinde sadeleşir; geriye \mathbf x'te doğrusal bir fonksiyon kalır. Gözlem, önselle düzeltilmiş Mahalanobis uzaklığı en küçük olan sınıfa atanır.

Koddaki tercih: scikit-learn LDA (svd çözücü)

Sınıflayıcı LinearDiscriminantAnalysis(priors=…) ile uydurulur (discriminant_analysis.py:344–351); varsayılan çözücü svd'dir ve sınıflama kuralı yukarıdaki Fisher fonksiyonlarıyla cebirsel olarak aynıdır. "Sınıf oranları" seçilince priors=None geçilir; scikit-learn önseli eğitim oranlarından kendisi alır. Fisher katsayı tablosu ise panelde doğrudan \mathbf S_p^{-1}\bar{\mathbf x}_k formülüyle hesaplanır (discriminant_panel.py:626–630). Doğrulamada iki yolun sonsalları 10^{-24} düzeyinde aynıdır.

74.5.3 QDA

\delta_k^{Q}(\mathbf x)=-\tfrac12\ln|\mathbf S_k|-\tfrac12(\mathbf x-\bar{\mathbf x}_k)^{\top}\mathbf S_k^{-1}(\mathbf x-\bar{\mathbf x}_k)+\ln\pi_k
  • \mathbf S_k: n_k-1 bölenli sınıf kovaryansı (scikit-learn QuadraticDiscriminantAnalysis, reg_param = 0; R MASS::qda method = "moment" ile aynı).
  • \ln|\mathbf S_k| terimi sınıfa göre değişir; bu yüzden ikinci derece terim sadeleşmez ve sınır karesel olur.

QDA neden daha çok veri ister?

Her sınıf için p(p+1)/2 kovaryans parametresi ayrı kestirilir; \mathbf S_k'nin terslenebilmesi için n_k\ge p+1 gerekir. Bu örnekte p=5: sınıf başına 15 kovaryans parametresi, toplam 45 (LDA'da 15). MerQur bu koşulu çalıştırmadan önce denetler.

74.5.4 Kanonik diskriminant fonksiyonları

Fisher'ın sorusu şudur: hangi doğrusal birleşim z=\mathbf v^{\top}\mathbf x gruplar arası değişimin grup içi değişime oranını en büyük yapar?

\max_{\mathbf v}\ \frac{\mathbf v^{\top}\mathbf B\,\mathbf v}{\mathbf v^{\top}\mathbf W\,\mathbf v}\quad\Longrightarrow\quad \mathbf W^{-1}\mathbf B\,\mathbf v_m=\lambda_m\mathbf v_m,\qquad m=1,\dots,\min(p,\,K-1)
  • \lambda_m: m. özdeğer, yani m. fonksiyonda gruplar arası / grup içi kareler toplamı oranı; büyükten küçüğe sıralanır.
  • \mathbf v_m: ham (standartlaştırılmamış) kanonik katsayılar.
  • En çok \min(p,K-1) anlamlı fonksiyon vardır; burada \min(5{,}2)=2.

Koddaki tercih: Cholesky ile simetrik çözüm ve ölçekleme

\mathbf W^{-1}\mathbf B simetrik değildir. MerQur \mathbf W=\mathbf L\mathbf L^{\top} Cholesky ayrışımıyla simetrik \mathbf L^{-1}\mathbf B\mathbf L^{-\top} matrisinin özdeğerlerini bulur (discriminant_analysis.py:136–146) ve özvektörleri \mathbf v^{\top}\mathbf S_p\mathbf v=1 olacak biçimde ölçekler (147): her fonksiyonun grup içi varyansı 1'dir (R candisc coeffs.raw ile aynı). Özvektörün işareti keyfî olduğundan MerQur, standartlaştırılmış katsayıların toplamı ≥ 0 olacak biçimde yönlendirir (152–154); R candisc farklı işaret verebilir.

Fonksiyona ait türetilmiş büyüklükler:

\begin{gathered}\text{sabit}_m=-\bar{\mathbf x}^{\top}\mathbf v_m,\qquad \text{std}_{jm}=v_{jm}\sqrt{(\mathbf S_p)_{jj}},\qquad \text{yapı}_{jm}=\frac{(\mathbf S_p\mathbf v_m)_j}{\sqrt{(\mathbf S_p)_{jj}}}\\[4pt] \text{merkez}_{km}=(\bar{\mathbf x}_k-\bar{\mathbf x})^{\top}\mathbf v_m,\qquad \%_m=\frac{100\,\lambda_m}{\sum_l\lambda_l},\qquad r_{c,m}=\sqrt{\frac{\lambda_m}{1+\lambda_m}}\end{gathered}
  • Sabit: skorların genel ortalamada 0 olmasını sağlar; skor =\mathbf v_m^{\top}\mathbf x+\text{sabit}_m.
  • Standartlaştırılmış katsayı: değişken grup içi SS birimine çevrildiğinde katsayı; değişkenin diğerleri sabitken katkısı.
  • Yapı katsayısı: değişkenle fonksiyon skoru arasındaki havuzlanmış grup içi korelasyon; tek başına ilişki. R candisc structure ise toplam korelasyonu (cor(Y, scores)) verir.
  • Merkez: sınıfın ortalama skoru.
  • r_{c,m}: kanonik korelasyon, fonksiyon skoru ile sınıf kuklaları arasındaki en büyük korelasyon.

74.5.5 Wilks Λ ve Bartlett testi

\Lambda_m=\prod_{l=m}^{\min(p,K-1)}\frac{1}{1+\lambda_l},\qquad \chi^2_m=-\left(N-1-\frac{p+K}{2}\right)\ln\Lambda_m,\qquad \text{sd}_m=(p-m+1)(K-m)
  • \Lambda_1=|\mathbf W|/|\mathbf T|: tüm fonksiyonlar birlikte; MANOVA'daki Wilks Λ'nın aynısıdır.
  • \Lambda_m (m\ge2): ilk m-1 fonksiyon çıkarıldıktan sonra kalan ayrım; "m'den sona kadar fonksiyonlar" satırı.
  • \chi^2_m: Bartlett'in (1938) ki-kare yaklaşımı; sd'de m birden başlar.

Neden ardışık test?

İlk satır "hiç ayrım yok" sıfır hipotezini sınar. Reddedilirse ikinci satır "birinci fonksiyon dışında ayrım yok" hipotezini sınar; böylece kaç fonksiyonun anlamlı olduğuna karar verilir. Bu ardışık yorum, testin kendisi değil yorum kuralıdır; Bartlett yaklaşımı büyük örneklemde iyidir.

74.5.6 Önselle ağırlıklı LD yüzdeleri

Sonuç metnindeki "LDA Bileşen Açıklamaları" scikit-learn explained_variance_ratio_'dur. Gruplar arası matris önsellerle ağırlıklandırılır:

\mathbf B_\pi=\sum_{k=1}^{K}N\pi_k(\bar{\mathbf x}_k-\bar{\mathbf x}_\pi)(\bar{\mathbf x}_k-\bar{\mathbf x}_\pi)^{\top},\qquad \bar{\mathbf x}_\pi=\sum_k\pi_k\bar{\mathbf x}_k,\qquad \text{LD}_m\%=\frac{\lambda_m(\mathbf W^{-1}\mathbf B_\pi)}{\sum_l\lambda_l(\mathbf W^{-1}\mathbf B_\pi)}
  • \pi_k=n_k/N ise \mathbf B_\pi=\mathbf B ve LD yüzdeleri kanonik yüzdelere eşittir. R MASS::lda svd^2/sum(svd^2) aynı tanımdır.
  • Eşit ya da kullanıcı önselinde dengesiz sınıflarda iki yüzde farklıdır; MerQur bunu bir notla belirtir.

74.5.7 Box M testi

M=(N-K)\ln|\mathbf S_p|-\sum_{k=1}^{K}(n_k-1)\ln|\mathbf S_k|
c_1=\left(\sum_k\frac{1}{n_k-1}-\frac{1}{N-K}\right)\frac{2p^2+3p-1}{6(p+1)(K-1)},\qquad \chi^2=M(1-c_1),\qquad \text{sd}_1=\frac{p(p+1)(K-1)}{2}
c_2=\left(\sum_k\frac{1}{(n_k-1)^2}-\frac{1}{(N-K)^2}\right)\frac{(p-1)(p+2)}{6(K-1)},\qquad \text{sd}_2=\frac{\text{sd}_1+2}{c_2-c_1^2},\qquad F=\frac{M}{\text{sd}_1/(1-c_1-\text{sd}_1/\text{sd}_2)}
  • M\ge0: kovaryanslar eşitken küçüktür.
  • \chi^2 yaklaşımı R heplots::boxM ve biotools::boxM ile aynıdır; F yaklaşımı da Box'a (1949) dayanır. c_2<c_1^2 ise kodda Box'ın ikinci F biçimi kullanılır (discriminant_analysis.py:219–222).

Box M'yi yorumlarken

Test normallikten sapmaya ve büyük örnekleme çok duyarlıdır; anlamlı sonuç çoğu kez önemsiz farkları yansıtır. MerQur sonuç metninde \alpha=0{,}001 önerisini yazar. Anlamlı Box M, LDA'yı geçersiz kılmaz; sınıflama doğruluğu QDA ile karşılaştırılarak karar verilmelidir.

74.5.8 Tek değişkenli testler, CV ve LOO

Her açıklayıcı için \Lambda_j=W_{jj}/T_{jj} ve tek yönlü ANOVA F_j=\dfrac{(T_{jj}-W_{jj})/(K-1)}{W_{jj}/(N-K)}, sd (K-1,\,N-K) (discriminant_panel.py:635–643).

Koddaki tercih: CV katları ve SS

LDA/QDA'da CV cross_val_score(model, X, y, cv=k) ile yapılır (discriminant_analysis.py:373–381). Tam sayı cv scikit-learn'de karıştırmasız tabakalı katlar demektir: tohum yoktur, katlar sınıf içindeki satır sırasıyla oluşur. "±" değeri kat doğruluklarının n-1 bölenli SS'sidir (discriminant_analysis.py:380), MerQur'un makine öğrenmesi sınıflayıcılarıyla aynı tanım; o sınıflayıcılar (Naive Bayes, ağaçlar) ise karıştırmalı tohumlu katlar kullanır. LOO (birini dışarıda bırak) her gözlem için modeli yeniden uydurur (651–664; R lda(CV = TRUE)).

74.5.9 Adımsal değişken seçimi (Wilks Λ)

q değişkenli modelden q+1'e geçişte aday j için kısmi F:

F_{\text{giriş}}=\frac{N-K-q}{K-1}\left(\frac{\Lambda_q}{\Lambda_{q+j}}-1\right),\qquad \text{sd}=(K-1,\ N-K-q),\qquad R^2_{\text{kısmi}}=1-\frac{\Lambda_{q+j}}{\Lambda_q}
  • \Lambda_q=|\mathbf W_q|/|\mathbf T_q|: modeldeki q değişkenle Wilks Λ.
  • Her adımda F'si en büyük aday girer (Λ'yı en çok düşüren). Çıkış testi aynı formülle, modelden bir değişken atılınca Λ'daki artışla yapılır.

Koddaki tercih: iki seçim yolu

Ölçüt F ve yön "Adımsal" ise sabit F eşikli yol (stepwise_wilks, discriminant_panel.py:631–713) çalışır: önce giriş, sonra çıkış; F-giriş 3,84, F-çıkış 2,71 (varsayılanlar). Ölçüt p ya da yön ileri/geri ise p eşikli yol (stepwise_wilks_sas, 509–604) çalışır: adımsal yöntemde her adımda önce çıkarma denenir; grup içi toleransı 10^{-8}'in altındaki aday girmez; az önce çıkan değişken yeniden girecekse seçim durur. Tabloya kısmi R^2, Rao F yaklaşımıyla p(\Lambda) (_wilks_p) ve ortalama karesel kanonik korelasyon ASCC =\sum\rho^2/(K-1) eklenir. Seçim varsayılanda yalnız tabloyu üretir; model tüm değişkenlerle kalır.

74.5.10 Parametrik olmayan yöntemler (kNN ve çekirdek)

d^2(\mathbf x,\mathbf y)=(\mathbf x-\mathbf y)^{\top}\mathbf V^{-1}(\mathbf x-\mathbf y),\qquad \mathbf V\in\{\mathbf S_p,\ \operatorname{diag}(\mathbf S_p),\ \mathbf I\}
\text{kNN:}\ \ \hat P(k\mid\mathbf x)=\frac{(k_k/n_k)\,\pi_k}{\sum_l(k_l/n_l)\,\pi_l},\qquad \text{çekirdek:}\ \ \hat f_k(\mathbf x)=\frac{1}{n_k}\sum_{i\in k}K\!\left(\frac{d^2(\mathbf x,\mathbf x_i)}{r^2}\right),\ \ \hat P(k\mid\mathbf x)=\frac{\pi_k\hat f_k}{\sum_l\pi_l\hat f_l}
  • k_k: en yakın k komşudan k. sınıfta olanların sayısı; eşit uzaklıkta veri sırası (kararlı sıralama) kullanılır.
  • K(u): uniform 1\{u\le1\}, normal e^{-u/2}, Epanechnikov (1-u), biweight (1-u)^2, triweight (1-u)^3 (u\le1).
  • Havuzlanmış metrikte çekirdeğin normalleştirme sabiti tüm sınıflarda aynı olduğundan sadeleşir.
  • LOO'da gözlem kendi komşu/çekirdek kümesinden çıkarılır ve n_k bir azalır.

74.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Ara değerler dogrulama/discriminant/elle_hesap.py ile, MerQur ve scikit-learn LDA/QDA çağrılmadan numpy/scipy ile hesaplanmıştır.

Adım 1 — Havuzlanmış kovaryans. N-K=102. Köşegen (grup içi varyanslar):

\operatorname{diag}(\mathbf S_p)=(2{,}9325;\ 409{,}9534;\ 0{,}0377;\ 159{,}1496;\ 0{,}9209)

Adım 2 — Tek değişkenli testler. Kreatinin için \Lambda=0{,}043427, F(2,\,102)=1123{,}39; diğerleri: WBC 625,61; CRP 765,59; AST 429,70; Hb 343,37 (hepsi p<0{,}001). Her değişken tek başına sınıfları güçlü ayırır.

Adım 3 — Kanonik çözüm. \mathbf W^{-1}\mathbf B'nin özdeğerleri \lambda_1=86{,}9701, \lambda_2=0{,}5942:

\%_1=\frac{86{,}9701}{87{,}5643}=99{,}32,\qquad r_{c,1}=\sqrt{\frac{86{,}9701}{87{,}9701}}=0{,}994300,\qquad r_{c,2}=\sqrt{\frac{0{,}5942}{1{,}5942}}=0{,}610519
\begin{gathered}\Lambda_1=\frac{1}{87{,}9701}\cdot\frac{1}{1{,}5942}=0{,}007130,\qquad \chi^2_1=-\left(104-\frac{5+3}{2}\right)\ln0{,}007130=494{,}338,\ \ \text{sd}=10\\[4pt] \Lambda_2=\frac{1}{1{,}5942}=0{,}627267,\qquad \chi^2_2=-100\ln0{,}627267=46{,}638,\ \ \text{sd}=4\end{gathered}

İki fonksiyon da anlamlıdır (p<0{,}001), ama ayrımın %99,3'ü birinci fonksiyondadır.

Değişken Ham F1 Ham F2 Std. F1 Std. F2 Yapı F1 Yapı F2
WBC_K_uL 0,206086 −0,348278 0,3529 −0,5964 0,3720 −0,6226
CRP_mg_L 0,029213 −0,002997 0,5915 −0,0607 0,4154 −0,0543
creatinine 3,500978 3,363742 0,6793 0,6527 0,4999 0,6982
AST_U_L 0,042411 0,006147 0,5350 0,0775 0,3112 −0,0494
Hb_g_dL −0,441798 0,390839 −0,4240 0,3751 −0,2756 0,4625
Sabit −10,0889 −5,3611

Örnek: kreatininin standart katsayısı 3{,}500978\times\sqrt{0{,}0377}=0{,}6793. Birinci fonksiyon bir "genel şiddet" eksenidir (inflamasyon ve böbrek belirteçleri artı, hemoglobin eksi). Merkezler F1'de healthy −10,275, mild −1,758, severe 12,033; F2'de mild sınıfı (−1,065) diğer ikisinden (0,658 ve 0,407) ayrılır.

Şekil 74.1. Kanonik skorlar (F1 × F2) ve sınıf merkezleri (X). Sınıflar F1 boyunca tamamen ayrışır; F2 hafif sınıfı uçlardan ayırır. İşaretli nokta 74.6, Adım 6'daki hastadır.

Adım 4 — Box M. Log-determinantlar: \ln|\mathbf S_{\text{healthy}}|=-2{,}8406, \ln|\mathbf S_{\text{mild}}|=6{,}3543, \ln|\mathbf S_{\text{severe}}|=11{,}6949, \ln|\mathbf S_p|=8{,}6837.

M=102(8{,}6837)-34(-2{,}8406+6{,}3543+11{,}6949)=368{,}6457
c_1=\left(\tfrac{3}{34}-\tfrac{1}{102}\right)\frac{2(25)+15-1}{6(6)(2)}=0{,}069717,\qquad \chi^2(30)=368{,}6457\times0{,}930283=342{,}9449
c_2=0{,}005831,\qquad \text{sd}_2=\frac{32}{0{,}005831-0{,}069717^2}=32967{,}2,\qquad F(30;\ 32967{,}2)=11{,}4203

Kovaryanslar açıkça farklıdır (p<0{,}001): ağır sınıfta değişkenlik çok büyüktür (ör. CRP varyansı healthy 0,92, severe 1003,50). LDA varsayımı bozuktur; ancak ayrım o kadar güçlüdür ki sınıflamaya etkisi olmaz.

Adım 5 — Fisher sınıflama fonksiyonları (eşit önsel).

healthy mild severe
WBC_K_uL 3,02603 5,38130 7,71102
CRP_mg_L −0,01090 0,24308 0,64153
creatinine 18,84834 42,87221 96,10122
AST_U_L 0,03648 0,38711 0,98103
Hb_g_dL 15,10181 10,66560 5,14788
Sabit (b_k, \ln\tfrac13 dahil) −128,21249 −154,01333 −371,39790

Adım 6 — En belirsiz hasta. LDA sonsalının en düşük olduğu gözlem 64 numaralı hastadır (mild): WBC 15,1; CRP 48,4; kreatinin 1,45; AST 62; Hb 12,2.

\delta_{\text{mild}}=5{,}38130(15{,}1)+0{,}24308(48{,}4)+42{,}87221(1{,}45)+0{,}38711(62)+10{,}66560(12{,}2)-154{,}01333=155{,}2953

\delta=(130{,}7868;\ 155{,}2953;\ 39{,}0634). Mahalanobis uzaklık kareleri D^2=(53{,}372;\ 4{,}355;\ 236{,}819); nitekim \delta_{\text{healthy}}-\delta_{\text{mild}}=-\tfrac12(53{,}372-4{,}355)=-24{,}5085. Sonsal:

\hat P(\text{healthy}\mid\mathbf x)=\frac{e^{130{,}7868-155{,}2953}}{1+e^{-24{,}5085}+e^{-116{,}2319}}=2{,}27\times10^{-11}

Sınıflama "mild"dir, olasılık 1-2{,}3\times10^{-11}. Kanonik skorları (-3{,}247;\ -0{,}738): mild merkezine (−1,758; −1,065) yakın, healthy'ye doğru kaymış. CRP'si (48,4) mild aralığının alt sınırındadır.

Adım 7 — Sınıflama ve CV. LDA, QDA, kNN ve çekirdek yöntemlerinin hepsinde yeniden yerine koyma, LOO ve 5 kat CV doğruluğu 1,0000'dır (kat SS'si 0). Önsel değişince (sınıf oranları ya da 0,2 / 0,3 / 0,5) sonsallar değişir ama sınıflama değişmez. Kullanıcı önselinde LD yüzdeleri (0,994254; 0,005746) kanonik yüzdelerden (0,993214; 0,006786) ayrılır.

Adım 8 — Adımsal seçim. Adımsal (p ölçütü) ve ileri seçim aynı yolu izler:

Adım Giren Kısmi F sd Wilks Λ Kısmi R^2
1 creatinine 1123,391 2; 102 0,043427 0,9566
2 WBC_K_uL 66,443 2; 101 0,018753 0,5682
3 CRP_mg_L 26,982 2; 100 0,012180 0,3505
4 AST_U_L 16,303 2; 99 0,009162 0,2478
5 Hb_g_dL 13,964 2; 98 0,007130 0,2218

İkinci adımın F'si: \dfrac{105-3-1}{2}\left(\dfrac{0{,}043427}{0{,}018753}-1\right)=50{,}5\times1{,}315723=66{,}443. Son adımda Λ, kanonik çözümdeki \Lambda_1'e eşittir.

74.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucundaki canonical, box_m ve disc2 alanlarından tam hassasiyetle alınmıştır. Python hesabı genelleştirilmiş simetrik özdeğer problemini doğrudan scipy.linalg.eigh(B, W) ile çözer ve ölçeklemeyi, işaret kuralını ve türetilmiş büyüklükleri ayrıca yazar. R: 4.5.3, MASS::lda/qda (önsel, CV = TRUE), candisc::candisc (ham ve standart katsayılar; işaret MerQur kuralına göre yönlendirildi; yapı katsayısı grup içi korelasyon olarak elle), heplots::boxM (χ² ve log-determinantlar), anova(lm()); Fisher fonksiyonları ve adımsal Wilks R'de matris işlemleriyle. Box M'nin F yaklaşımı ve parametrik olmayan yöntemler için R'de hazır karşılık yoktur; bu satırlar MerQur ile bağımsız Python arasında karşılaştırılmıştır (R sütunu "—").

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Özdeğer λ1 86,970052 86,970052 86,970052 1,6e−11 ✓
Özdeğer λ2 0,594218 0,594218 0,594218 9,6e−14 ✓
Kanonik korelasyon r1 0,994300 0,994300 0,994300 1,4e−15 ✓
Kanonik korelasyon r2 0,610519 0,610519 0,610519 3,1e−14 ✓
F1 varyans yüzdesi (%) 99,321392 99,321392 99,321392 2,8e−14 ✓
Wilks Λ (fonksiyon 1–2) 0,007130 0,007130 0,007130 1,7e−15 ✓
Bartlett χ² (fonksiyon 1–2) 494,337990 494,337990 494,337990 2,4e−11 ✓
Wilks Λ (fonksiyon 2–2) 0,627267 0,627267 0,627267 3,8e−14 ✓
Bartlett χ² (fonksiyon 2–2) 46,638347 46,638347 46,638347 6,0e−12 ✓
Bartlett p (fonksiyon 2) 1,8137·10−9 1,8137·10−9 1,8137·10−9 5,3e−21 ✓
Ham katsayı F1: WBC_K_uL 0,206086 0,206086 0,206086 1,7e−14 ✓
Ham katsayı F1: CRP_mg_L 0,029213 0,029213 0,029213 8,6e−16 ✓
Ham katsayı F1: creatinine 3,500978 3,500978 3,500978 1,1e−12 ✓
Ham katsayı F1: AST_U_L 0,042411 0,042411 0,042411 8,7e−16 ✓
Ham katsayı F1: Hb_g_dL −0,441798 −0,441798 −0,441798 7,2e−15 ✓
Ham sabit F1 −10,088908 −10,088908 −10,088908 1,8e−12 ✓
Standart katsayı F2: WBC_K_uL −0,596414 −0,596414 −0,596414 3,3e−14 ✓
Standart katsayı F2: CRP_mg_L −0,060685 −0,060685 −0,060685 7,5e−14 ✓
Standart katsayı F2: creatinine 0,652710 0,652710 0,652710 1,0e−13 ✓
Standart katsayı F2: AST_U_L 0,077547 0,077547 0,077547 6,3e−14 ✓
Standart katsayı F2: Hb_g_dL 0,375056 0,375056 0,375056 4,9e−14 ✓
Yapı katsayısı F1: WBC_K_uL 0,372019 0,372019 0,372019 3,4e−14 ✓
Yapı katsayısı F1: CRP_mg_L 0,415434 0,415434 0,415434 2,9e−14 ✓
Yapı katsayısı F1: creatinine 0,499943 0,499943 0,499943 2,2e−13 ✓
Yapı katsayısı F1: AST_U_L 0,311224 0,311224 0,311224 2,6e−14 ✓
Yapı katsayısı F1: Hb_g_dL −0,275597 −0,275597 −0,275597 2,8e−14 ✓
Merkez healthy F1 −10,275042 −10,275042 −10,275042 8,6e−13 ✓
Merkez healthy F2 0,658130 0,658130 0,658130 6,6e−14 ✓
Merkez mild F1 −1,757799 −1,757799 −1,757799 3,4e−13 ✓
Merkez mild F2 −1,064598 −1,064598 −1,064598 7,8e−14 ✓
Merkez severe F1 12,032840 12,032840 12,032840 1,2e−12 ✓
Merkez severe F2 0,406468 0,406468 0,406468 1,4e−14 ✓

Box M, tek değişkenli testler ve Fisher fonksiyonları:

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Box M 368,645683 368,645683 — 0,0e+00 ✓
Box χ²(30) 342,944895 342,944895 342,944895 4,0e−13 ✓
ln Shealthy −2,840636 −2,840636 −2,840636
ln Smild 6,354337 6,354337 6,354337
ln Ssevere 11,694909 11,694909 11,694909
ln Shavuz 8,683710 8,683710 8,683710
Box F 11,420314 11,420314 — 0,0e+00 ✓
Box F sd2 32967,198044 32967,198044 — 0,0e+00 ✓
Tek değişkenli F: WBC_K_uL 625,610211 625,610211 625,610211 6,8e−13 ✓
Tek değişkenli F: CRP_mg_L 765,585223 765,585223 765,585223 1,1e−13 ✓
Tek değişkenli F: creatinine 1123,390936 1123,390936 1123,390936 1,8e−12 ✓
Tek değişkenli F: AST_U_L 429,696809 429,696809 429,696809 1,1e−12 ✓
Tek değişkenli F: Hb_g_dL 343,374455 343,374455 343,374455 3,4e−13 ✓
Tek değişkenli Wilks Λ: creatinine 0,043427 0,043427 0,043427 7,6e−17 ✓
Fisher katsayısı severe: WBC_K_uL 7,711015 7,711015 7,711015 7,1e−15 ✓
Fisher katsayısı severe: CRP_mg_L 0,641529 0,641529 0,641529 1,1e−16 ✓
Fisher katsayısı severe: creatinine 96,101218 96,101218 96,101218 9,9e−14 ✓
Fisher katsayısı severe: AST_U_L 0,981033 0,981033 0,981033 1,1e−16 ✓
Fisher katsayısı severe: Hb_g_dL 5,147883 5,147883 5,147883 3,4e−14 ✓
Fisher sabiti healthy (eşit önsel) −128,212495 −128,212495 −128,212495 0,0e+00 ✓
Fisher sabiti mild (eşit önsel) −154,013329 −154,013329 −154,013329 1,1e−13 ✓
Fisher sabiti severe (eşit önsel) −371,397903 −371,397903 −371,397903 6,3e−13 ✓
Havuzlanmış varyans: WBC_K_uL 2,932532 2,932532 2,932532 4,4e−15 ✓
Havuzlanmış varyans: CRP_mg_L 409,953350 409,953350 409,953350 0,0e+00 ✓
Havuzlanmış varyans: creatinine 0,037653 0,037653 0,037653 1,4e−17 ✓
Havuzlanmış varyans: AST_U_L 159,149580 159,149580 159,149580 2,8e−13 ✓
Havuzlanmış varyans: Hb_g_dL 0,920868 0,920868 0,920868 6,7e−16 ✓

Sınıflama, adımsal seçim ve parametrik olmayan yöntemler:

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
LDA sonsalları (önsel eşit) (105 × 3) (105 × 3) (105 × 3) 4,4e−16 ✓
LDA sonsalları (önsel oran) (105 × 3) (105 × 3) (105 × 3) 4,4e−16 ✓
LDA sonsalları (önsel 0,2/0,3/0,5) (105 × 3) (105 × 3) (105 × 3) 4,4e−16 ✓
LDA doğruluğu (eğitim) 1 1 1 0,0e+00 ✓
LDA LOO doğruluğu 1 1 1 0,0e+00 ✓
LDA 5-kat CV ortalaması 1 1 1 0,0e+00 ✓
LD1 oranı (önsel ağırlıklı, eşit) 0,993214 0,993214 0,993214 1,1e−16 ✓
LD1 oranı (önsel ağırlıklı, 0,2/0,3/0,5) 0,994254 0,994254 0,994254 4,4e−16 ✓
QDA sonsalları (eşit önsel) (105 × 3) (105 × 3) (105 × 3) 1,4e−31 ✓
QDA LOO doğruluğu 1 1 1 0,0e+00 ✓
Adım 1 (creatinine): kısmi F 1123,390936 1123,390936 1123,390936 1,8e−12 ✓
Adım 1: Wilks Λ 0,043427 0,043427 0,043427 3,5e−17 ✓
Adım 2 (WBC_K_uL): kısmi F 66,443498 66,443498 66,443498 2,0e−13 ✓
Adım 2: Wilks Λ 0,018753 0,018753 0,018753 3,5e−17 ✓
Adım 3 (CRP_mg_L): kısmi F 26,982160 26,982160 26,982160 7,2e−13 ✓
Adım 3: Wilks Λ 0,012180 0,012180 0,012180 1,7e−16 ✓
Adım 4 (AST_U_L): kısmi F 16,303050 16,303050 16,303050 5,0e−13 ✓
Adım 4: Wilks Λ 0,009162 0,009162 0,009162 3,3e−17 ✓
Adım 5 (Hb_g_dL): kısmi F 13,963747 13,963747 13,963747 2,2e−13 ✓
Adım 5: Wilks Λ 0,007130 0,007130 0,007130 5,0e−17 ✓
kNN (k = 5): sonsallar (105 × 3) (105 × 3) — 0,0e+00 ✓
kNN (k = 5): LOO sonsalları (105 × 3) (105 × 3) — 0,0e+00 ✓
kNN (k = 5): LOO doğruluğu 1 1 — 0,0e+00 ✓
Normal çekirdek (r = 1): sonsallar (105 × 3) (105 × 3) — 1,7e−24 ✓
Normal çekirdek (r = 1): LOO sonsalları (105 × 3) (105 × 3) — 2,5e−24 ✓
Normal çekirdek (r = 1): LOO doğruluğu 1 1 — 0,0e+00 ✓

85 büyüklüğün tamamı eşleşmiştir. R candisc ile ham katsayılar arasındaki en büyük fark 1{,}1\times10^{-12}'dir.

74.7 Çıktıyı okuma

Sonuç metni (LDA, eşit önsel, kısaltılmış):

Doğrusal Diskriminant Analizi (LDA)
  N (gözlem)     : 105
  Önsel olasılıklar (Eşit (1/K; varsayılan)): healthy = 0.3333, mild = 0.3333, severe = 0.3333
Model Performansı (eğitim):
  Doğruluk = 1.0000
CV doğruluk (5 katlı) = 1.0000 ± 0.0000
LDA Bileşen Açıklamaları (önsel olasılıklarla ağırlıklı):
  LD1: %99.32
  LD2: %0.68
Box's M Testi (kovaryans matrislerinin eşitliği):
  Box's M = 368.6457
  χ²(30) = 342.9449, p < .001
  F(30, 32967.20) = 11.4203, p < .001
Kanonik Diskriminant Fonksiyonları — Özdeğerler:
           Özdeğer        %   Kümülatif %     Kanonik r
  F1       86.9701    99.32         99.32        0.9943
  F2        0.5942     0.68        100.00        0.6105
Wilks' Lambda (Bartlett χ²) — fonksiyonların anlamlılığı:
  Fonksiyon 1–2        Λ = 0.0071, χ²(10) = 494.3380, p < .001
  Fonksiyon 2          Λ = 0.6273, χ²(4) = 46.6383, p < .001
Standartlaştırılmış Kanonik Diskriminant Katsayıları (grup-içi SD):
  creatinine                  0.6793      0.6527
Grup Merkezlerinde Fonksiyon Değerleri (centroids):
  healthy                   -10.2750      0.6581
  mild                       -1.7578     -1.0646
  severe                     12.0328      0.4065
── APA 7 ÖZET ──
LDA: Doğruluk = 1.00, CV-5 = 1.00 (SD = 0.00), N = 105, k = 3
F1: Özdeğer = 86.97, Rc = .99, Λ = .007, χ²(10, N = 105) = 494.34, p < .001; Box's M = 368.65, F(30, 32967) = 11.42, p < .001
Öğe Nasıl yorumlanır
Doğruluk / CV / LOO Eğitim doğruluğu iyimserdir; LOO ve CV genelleme doğruluğudur. Aralarındaki büyük fark aşırı uyumu gösterir.
Özdeğer, %, kanonik r Fonksiyonun ayırma gücü. r_c^2=0{,}9887: birinci fonksiyon skorlarındaki varyansın %98,9'u sınıf farkıdır.
Wilks Λ satırları "1–2" satırı genel ayrımın testi (MANOVA'yla aynı); "2" satırı birinci fonksiyon dışında ayrım kalıp kalmadığını sınar.
Standart katsayılar Diğer değişkenler sabitken katkı; eşdoğrusal değişkenlerde işaret ve büyüklük kararsızdır.
Yapı matrisi Değişkenin fonksiyonla tek başına ilişkisi; fonksiyonu adlandırmak için bunu kullanın. MerQur değişken sırasıyla yazar.
Merkezler Sınıfların fonksiyon üzerindeki konumu; işaret keyfîdir.
Box M p<0{,}001 ise kovaryanslar farklı; QDA ile karşılaştırın.
Fisher fonksiyonları Yeni hastayı elle sınıflamak için; sabitler önseli içerir.

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

Hastalık şiddet sınıfını (sağlıklı, hafif, ağır; her biri n = 35) lökosit, CRP, kreatinin, AST ve hemoglobin düzeylerinden ayırmak için eşit önsel olasılıklı doğrusal diskriminant analizi yapıldı. İki kanonik fonksiyonun ikisi de anlamlıydı; birinci fonksiyon ayrımın %99,3'ünü açıkladı (özdeğer = 86,97, kanonik r = 0{,}99), Wilks \Lambda = 0{,}007, \chi^2(10, N = 105) = 494{,}34, p < 0{,}001; ikinci fonksiyon için \Lambda = 0{,}63, \chi^2(4) = 46{,}64, p < 0{,}001. Birinci fonksiyonda en yüksek yapı katsayıları kreatinin (0,50) ve CRP'ye (0,42) aitti. Box M testi kovaryans matrislerinin eşit olmadığını gösterdi, F(30;\ 32967) = 11{,}42, p < 0{,}001; buna karşın hem doğrusal hem karesel sınıflamada birini dışarıda bırakma doğruluğu %100 idi.

74.8 Uzman soruları

S1. Önsel olasılık kanonik fonksiyonları değiştirir mi?

Hayır. Kanonik çözüm \mathbf W ve gözlem ağırlıklı \mathbf B'den hesaplanır, önsele bağlı değildir. Önsel yalnız sınıflama kuralının sabitlerini (\ln\pi_k), sonsalları ve scikit-learn/MASS tanımındaki "LD yüzdelerini" değiştirir. Bu örnekte kullanıcı önseli (0,2 / 0,3 / 0,5) LD1 yüzdesini 99,321'den 99,425'e taşır, kanonik % aynı kalır.

S2. Eşit önsel mi, sınıf oranı mı? MerQur hangisini kullanıyor?

R MASS::lda varsayılanı prior = proportions'tır. MerQur eşit önseli varsayılan yapar. Dengesiz sınıflarda iki tanım farklı sınıflama verir: oran önseli sık sınıfı kayırır, toplam doğruluğu artırır; eşit önsel seyrek sınıfın duyarlılığını korur. Raporda hangisinin kullanıldığı yazılmalıdır.

S3. Box M anlamlıyken LDA kullanılabilir mi?

Kullanılabilir. Box M normallikten sapmaya çok duyarlıdır ve büyük örneklemde önemsiz farkları da anlamlı bulur. Karar kuralı, LOO ya da CV doğruluğunu LDA ve QDA arasında karşılaştırmaktır. QDA çok daha fazla parametre kestirir; küçük sınıflarda varyansı yüksektir ve çoğu kez LDA'dan kötü sınıflar. Bu örnekte iki yöntem de %100 doğruluk verir.

S4. Ham katsayıların işareti başka bir programdakinden ters çıktı. Hangisi doğru?

İkisi de. Özvektörün işareti keyfîdir; MerQur standart katsayıların toplamı negatif olmayacak biçimde yönlendirir. Başka programlar (ör. R candisc) kendi kurallarıyla farklı işaret verebilir; o zaman ham ve standart katsayılar, yapı katsayıları, merkezler ve skorlar birlikte işaret değiştirir. Yorum değişmez.

S5. Yapı matrisi neden R candisc'in `structure` çıktısından farklı?

MerQur yapı katsayısını havuzlanmış grup içi korelasyon olarak hesaplar. R candisc structure ise toplam korelasyonu verir (sınıflar birleştirilmiş). Ayrım güçlü olduğunda toplam korelasyon büyük ölçüde sınıf ortalamaları arasındaki farkı yansıtır; grup içi tanım, sınıf içindeki ortak değişimi gösterir. Doğrulamada R tarafında grup içi tanım elle hesaplanmıştır.

S6. CV doğruluğu neden tohuma bağlı değil?

LDA/QDA'da MerQur cross_val_score(cv=k) kullanır; scikit-learn bunu karıştırmasız StratifiedKFold'a çevirir. Katlar her sınıf içinde satır sırasıyla oluşur; tohum yoktur ve sonuç deterministiktir. Ancak veri sınıfa ya da zamana göre sıralıysa katlar sıra bloklarıdır; bu, Naive Bayes ve ağaçlardaki karıştırmalı, tohumlu CV'den farklıdır. Sıra bağımsızlığı istenirse LOO tercih edilmelidir.

S7. Kategorik bir değişkeni (ör. cinsiyet 0/1) eklemek doğru mu?

Teknik olarak eklenebilir (sayısal sütun kabul edilir), ama 0/1 değişken çok değişkenli normal olamaz; Box M ve Bartlett testleri anlamını yitirir, sınıflama kuralı yaklaşık kalır. Karma veride Naive Bayes ya da multinomial lojistik regresyon daha uygundur. LDA'nın sınıflama kuralı normallik bozulsa da çoğu kez makul çalışır, testler çalışmaz.

S8. kNN'de neden sınıf büyüklüğüne bölünüyor?

MerQur'un kNN tanımında (74.5.10) sınıf yoğunluğu \hat f_k(\mathbf x)\propto k_k/n_k'dir: komşuların içindeki sınıf payı, o sınıfın örneklemdeki büyüklüğüne göre düzeltilir. Sonra önselle çarpılır. Böylece büyük sınıf yalnız büyük olduğu için kayırılmaz; sınıf ağırlığını önsel belirler. Basit çoğunluk oyu (scikit-learn KNeighborsClassifier) bu düzeltmeyi yapmaz; ikisi dengesiz sınıflarda farklı sonuç verir.

S9. Adımsal seçimde F eşikli ve p eşikli yollar neden farklı değişken kümeleri verebilir?

F eşikli yol sabit F-giriş/F-çıkış eşikleri (3,84 / 2,71) kullanır; p eşikli yol p eşikleri (0,15 / 0,15) kullanır ve her adımda önce çıkarmayı dener. F eşiği serbestlik derecesinden bağımsızdır, p eşiği değildir. MerQur ikisini de sunar. Bu örnekte iki yol da beş değişkeni aynı sırayla seçer.

74.9 Sık hatalar ve tuzaklar

  • Eğitim doğruluğunu raporlamak. Yeniden yerine koyma doğruluğu iyimserdir; LOO ya da CV verilmelidir. Bu veri kusursuz ayrıştığı için ikisi de 1'dir; gerçek veride fark büyüyebilir.
  • "LD yüzdesi" ile kanonik yüzdeyi karıştırmak. İlki önselle, ikincisi gözlem sayısıyla ağırlıklıdır; dengesiz sınıflarda ve eşit olmayan önselde farklıdır.
  • Standart katsayıyla değişken önemini sıralamak. Eşdoğrusal değişkenlerde standart katsayılar kararsızdır, işaret değiştirebilir; yorum yapı katsayılarıyla yapılmalıdır.
  • Kullanıcı önselinin sırası. Değerler çıktıdaki sınıf sırasıyla eşlenir; sayı adedi sınıf sayısına eşit değilse analiz durur.
  • Sıralı veride CV. CV karıştırmasızdır; satırlar sınıf içinde zamana göre sıralıysa katlar zaman bloklarıdır.
  • Grafiği sınıflama sanmak. Varsayılan grafik karışıklık matrisidir; kanonik skor grafiği "Kanonik skor grafiği" ek çıktısıyla gelir. 3B grafik en az üç fonksiyon (dört sınıf ve üç değişken) ister.
  • QDA'yı küçük sınıfta zorlamak. n_k\le p ise QDA kurulmaz; CV katlarında da bu koşul aranır, sağlanmazsa CV "—" olur.

74.10 Kaynaklar

  • Bartlett, M. S. (1938). Further aspects of the theory of multiple regression. Mathematical Proceedings of the Cambridge Philosophical Society, 34(1), 33–40. https://doi.org/10.1017/S0305004100019897
  • Box, G. E. P. (1949). A general distribution theory for a class of likelihood criteria. Biometrika, 36(3–4), 317–346. https://doi.org/10.1093/biomet/36.3-4.317
  • Fisher, R. A. (1936). The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7(2), 179–188. https://doi.org/10.1111/j.1469-1809.1936.tb02137.x
  • Lachenbruch, P. A., & Mickey, M. R. (1968). Estimation of error rates in discriminant analysis. Technometrics, 10(1), 1–11. https://doi.org/10.1080/00401706.1968.10490530
  • Rencher, A. C., & Christensen, W. F. (2012). Methods of multivariate analysis (3. baskı). Wiley. https://doi.org/10.1002/9781118391686
  • Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4. baskı). Springer. https://doi.org/10.1007/978-0-387-21706-2