MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Diskriminant Analizi

Diskriminant Analizianaliz

Önceden bilinen grupları birbirinden en iyi ayıran sürekli değişken birleşimlerini bulan ve bu birleşimlerle yeni gözlemlerin hangi gruba ait olduğunu kestiren çok değişkenli yöntem.

Kavram

Diskriminant analizi iki soruyu birlikte yanıtlar: ölçülen değişkenler bilinen grupları birbirinden ayırıyor mu, ayırıyorsa hangi değişkenler bu ayrıma en çok katkı veriyor; ve grubu bilinmeyen yeni bir gözlem hangi gruba atanmalı? Bu yönüyle hem açıklayıcı (gruplar nasıl farklılaşıyor) hem öngörücü (yeni gözlemi sınıfla) bir yöntemdir.

Doğrusal diskriminant analizi (LDA), değişkenlerin öyle doğrusal birleşimlerini (diskriminant ya da kanonik fonksiyonlar) arar ki gruplar arası farklılık, grup içi dağınıklığa oranla en büyük olsun. K grup ve p değişken için en çok min(K − 1, p) fonksiyon bulunur; her fonksiyonun özdeğeri ve kanonik korelasyonu ayırma gücünü gösterir. Ayrımın bütünüyle anlamlılığı Wilks Λ ile sınanır: Λ = |W| / |T|, yani grup içi değişkenliğin toplam değişkenliğe oranı; Λ küçüldükçe gruplar daha iyi ayrılır. Sınıflamada her gözlem için grup üyelik (sonsal) olasılıkları hesaplanır ve gözlem en olası gruba atanır.

LDA, her grupta değişkenlerin çok değişkenli normal dağıldığını ve grupların kovaryans matrislerinin eşit olduğunu varsayar; bu son varsayım Box's M testiyle sınanır, ancak test büyük örneklemlerde ve normallikten sapmalarda çok duyarlıdır. Kovaryanslar belirgin biçimde farklıysa her gruba ayrı kovaryans tanıyan karesel diskriminant (QDA) kullanılabilir; QDA daha çok parametre kestirdiği için küçük gruplarda kararsızdır. Modelin kurulduğu verideki doğruluk (yerine koyma) iyimserdir; gerçekçi başarım birini-dışarıda-bırak ya da k-katlı çapraz geçerlilikle değerlendirilir.

Ne zaman kullanılır?

  • Grupları önceden bilinen gözlemlerde, birkaç sürekli ölçümün bu grupları ne ölçüde ve hangi boyutlarda ayırdığını görmek ve yeni gözlemleri sınıflamak istendiğinde (tür tanıma, meslek grupları, hastalık alt tipleri).
  • Açıklayıcılar arasında kategorik değişkenler varsa ya da normallik varsayımı ağır biçimde bozuluyorsa ikili sonuçta lojistik, çok gruplu sonuçta multinomiyal lojistik regresyon daha uygundur.
  • Grupların ortalama vektörlerinin farklı olup olmadığını sınamak asıl amaçsa MANOVA; gruplar önceden bilinmiyor ve keşfedilmek isteniyorsa kümeleme analizi kullanılır.

Gündelik bir örnek

Bir hububat tüccarı, depoya gelen buğday partilerinin üç çeşitten hangisine ait olduğunu tane uzunluğu, tane genişliği ve protein oranı ölçümlerinden belirlemek istiyor. Çeşidi bilinen 150 partinin ölçümleriyle kurulan diskriminant analizi, örneğin 'uzunluk ile genişlik arasındaki fark' gibi bir birleşimin birinci çeşidi diğerlerinden, protein oranının ise ikinci ile üçüncüyü birbirinden ayırdığını gösterebilir. Yeni bir parti geldiğinde ölçümleri bu fonksiyonlara konur ve parti, örneğin %88 olasılıkla ikinci çeşit olarak sınıflanır.

MerQur'da parametreler

Açıklayıcı(lar) ve Hedef sınıf

Kavram: Açıklayıcılar, grupları ayırmakta kullanılacak sürekli ölçümlerdir; hedef sınıf ise gözlemlerin önceden bilinen grup üyeliğidir. Yöntem, bu ölçümlerin hangi birleşiminin grupları en iyi ayırdığını arar.

Gündelik örnek: Tüccar için açıklayıcılar tane uzunluğu, genişliği ve protein oranıdır; hedef sınıf ise laboratuvarda kesin olarak belirlenmiş buğday çeşididir. Çeşidi bilinmeyen partiler model kurulduktan sonra sınıflanır.

Ne işe yarar: Sayısal açıklayıcılar (en az 2) ve sınıf değişkeni; en az 20 tam satır gerekir.

Sonuca etkisi: Model, kanonik çözüm, Box's M ve tüm ek çıktılar.

Doğrulama verisinde: (UCLA): Kanonik r 0.7207 ve 0.4927, özdeğer 1.0805 ve 0.3205, Wilks 0.3640 ve 0.7573, χ²(6) 242.55, yerine koyma doğruluğu 0.7500; sınıflama tablosu raporlanır.

Yöntem (LDA (doğrusal) / QDA (karesel) / kNN (parametrik olmayan) / Çekirdek yoğunluk (parametrik olmayan))

Kavram: LDA tüm gruplar için ortak bir kovaryans matrisi varsayar ve gruplar arasında düz sınırlar kurar; QDA her gruba kendi kovaryansını tanır ve eğri (karesel) sınırlar kurar. kNN ve çekirdek yoğunluk yöntemleri dağılım varsayımı yapmaz, sınıflamayı yakın gözlemlere ya da yerel yoğunluk tahminine dayandırır.

Gündelik örnek: Üç çeşitte tane ölçümlerinin dağınıklığı benzerse LDA yeterlidir. Bir çeşidin taneleri çok tek tip, diğerininki çok değişkense QDA bu farkı dikkate alır; ölçümlerin dağılımı hiç normal değilse kNN, yeni partiyi en çok benzediği partilerin çeşidine atar.

Ne işe yarar: LDA havuzlanmış kovaryansla doğrusal sınır, QDA sınıf başına kovaryansla karesel sınır kurar.

Sonuca etkisi: Sınıflama, sonsal olasılıklar, LOO ve CV; kanonik çözüm ve Box's M yöntemden bağımsızdır.

Doğrulama verisinde: iris LDA ve QDA yerine koyma 0.98 ve 0.98, LOO 0.98 ve 0.9733 (QDA: yerine koymada 3, çapraz geçerlilikte 4 hata). UCLA QDA 0.7623. crops QDA (sınıf oranı önseli) yerine koyma 0.8889, LOO 0.4444 (hata oranları 0.1111 ve 0.5556).

→ Kovaryans ve korelasyon matrisi

CV fold sayısı

Kavram: k-katlı çapraz geçerlilikte veri k parçaya bölünür; model her seferinde k − 1 parçayla kurulup kalan parçayı sınıflar. Böylece doğruluk, modelin kurulmasında kullanılmamış gözlemlerden hesaplanır ve yerine koyma doğruluğundan daha gerçekçi olur.

Gündelik örnek: 150 parti 5 parçaya bölünür; her seferinde 120 partiyle kurulan model, kalan 30 partinin çeşidini tahmin eder. Beş turun ortalama doğruluğu, tüccarın yeni partilerde bekleyebileceği başarıya daha yakındır.

Ne işe yarar: k-katlı CV doğruluğu (karıştırmasız tabakalı katlar; k en küçük sınıf büyüklüğüne indirilir).

Sonuca etkisi: Yalnız CV doğruluğu ve yayılımı değişir; yerine koyma doğruluğu ve kanonik çözüm değişmez.

Doğrulama verisinde: iris k = 2, 5, 10: 0.9733 ± 0.0133, 0.98 ± 0.0267, 0.98 ± 0.0427; crops k = 10, 6'ya indirildi (en küçük sınıf 6), 0.3889 ± 0.2833. QDA'da katta sınıf başına n <= p ise CV "-" ve açık uyarı verir.

→ k-katlı çapraz geçerleme

Önsel olasılıklar (Eşit (1/K; varsayılan) / Sınıf oranları / Kullanıcı tanımlı) ve Önsel değerleri

Kavram: Önsel olasılık, ölçümlere bakılmadan önce bir gözlemin her gruba ait olma olasılığıdır. Bir grup gerçekte çok daha yaygınsa, önseller sınıflama sınırını o grup lehine kaydırır; kanonik fonksiyonların kendisi ise değişmez.

Gündelik örnek: Depoya gelen partilerin %70'i genellikle birinci çeşitse, ölçümleri kararsız kalan bir parti için birinci çeşit daha olası bir tahmindir. Önseller 'sınıf oranları' olarak verilirse bu bilgi hesaba katılır; 'eşit' seçilirse her çeşit eşit olası sayılır.

Ne işe yarar: Eşit (1/K; varsayılan), sınıf oranları, kullanıcı tanımlı (alfabetik sınıf sırasıyla; 1'e normalleştirilir).

Sonuca etkisi: Sınıflama sınırları, sonsal olasılıklar, Fisher sınıflama sabiti (+ ln önsel), LOO; kanonik çözümü etkilemez.

Doğrulama verisinde: (UCLA, eşit / oranlar / 0.2-0.3-0.5): Doğruluk 0.7500, 0.7582, 0.7049; LOO 0.7459, 0.7500, 0.6885. iris "2 1 1" girişi (0.5, 0.25, 0.25) olarak normalleştirilir. crops'ta Fisher sabitleri seçilen sınıf oranı önselleriyle hesaplanır.

→ Önsel sınıf olasılıkları (diskriminant)

Ek çıktılar: Fisher sınıflama fonksiyonu katsayıları

Kavram: Fisher sınıflama fonksiyonları her grup için ayrı bir doğrusal puan formülüdür; yeni gözlemin ölçümleri her formüle konur ve en yüksek puanı veren gruba atanır. Kanonik fonksiyonlardan farklı olarak doğrudan sınıflama için kullanılır.

Gündelik örnek: Tüccar üç çeşit için üç ayrı formülü bir tabloya yazar. Yeni partinin uzunluk, genişlik ve protein değerlerini her formüle koyup hesaplar; en büyük sonucu veren formülün çeşidi partinin çeşidi olarak kabul edilir, bunun için bilgisayara gerek kalmaz.

Ne işe yarar: c_k = S_w⁻¹x̄_k ve sabit -½x̄_k'S_w⁻¹x̄_k + ln(önsel); yeni gözlem en büyük değerli sınıfa atanır.

Sonuca etkisi: Sınıflama değişmez; yeni gözlemleri elle sınıflamak için katsayı tablosu eklenir.

Doğrulama verisinde: UCLA eşit önsel sabitleri -23.1416, -25.3403, -20.5626 (sabitler ln(önsel) terimini içerir). crops için 25 Fisher katsayısının tümü raporlanır.

→ Fisher sınıflandırma fonksiyonları ve kanonik diskriminant fonksiyonları

Ek çıktılar: Grup ortalamalarının eşitliği (tek değişkenli Wilks Λ / F)

Kavram: Her açıklayıcı için grupların ortalamalarının eşit olup olmadığı tek başına sınanır (tek yönlü ANOVA'ya denk). Tek değişkenli Wilks Λ, o değişkendeki toplam değişkenliğin ne kadarının grup içinde kaldığını gösterir; küçük değer güçlü ayrım demektir.

Gündelik örnek: Protein oranında Wilks Λ = 0,40 ise protein değişkenliğinin büyük kısmı çeşitler arasındaki farktan gelir ve protein tek başına iyi bir ayırıcıdır. Tane genişliğinde Λ = 0,95 ise çeşitler genişlik bakımından pek farklı değildir.

Ne işe yarar: Her açıklayıcı için Wilks Λ = SS_içi/SS_toplam ve tek yönlü ANOVA F.

Sonuca etkisi: Model değişmez; her açıklayıcının grupları tek başına ne kadar ayırdığını gösteren tablo eklenir.

Doğrulama verisinde: iris F 119.26, 49.16, 1180.16, 960.01; UCLA social Λ 0.6040, F 79.009.

→ Çok değişkenli test istatistikleri (Wilks Λ, Pillai izi, Hotelling-Lawley, Roy)

Ek çıktılar: Birini-dışarıda-bırak (LOO) çapraz geçerlilik

Kavram: Her gözlem, kendisi dışarıda bırakılarak geri kalan verilerle kurulan modelle sınıflanır. Bir gözlemin kendi sınıflamasına katkıda bulunması engellendiği için bu doğruluk, modelin kurulduğu veride hesaplanan doğruluktan daha az iyimserdir.

Gündelik örnek: 150 partinin her biri için model, o parti hiç görülmemiş gibi diğer 149 partiyle yeniden kurulur ve o partinin çeşidi tahmin edilir. Yerine koyma doğruluğu %92, LOO doğruluğu %86 çıkarsa yeni partilerde %86'ya yakın bir başarı beklemek daha gerçekçidir.

Ne işe yarar: Her gözlem, kendisi dışarıda bırakılarak kurulan modelle sınıflanır; çapraz geçerli sınıflama tablosu ve doğruluk verilir.

Sonuca etkisi: Model değişmez; yerine koyma doğruluğundan daha az iyimser bir doğruluk tahmini eklenir.

Doğrulama verisinde: UCLA LDA LOO 0.7459; crops sınıf oranlı LDA LOO 0.3333 (çapraz geçerlilik sınıflama tablosu raporlanır).

→ Birini dışarıda bırak (LOO)

Ek çıktılar: Adımsal değişken seçimi (Wilks; F-giriş/F-çıkış aşağıda) ve Adımsal seçim (Wilks): F-giriş/F-çıkış eşikleri

Kavram: Adımsal seçim, değişkenleri ayırma gücüne katkılarına göre modele tek tek alır ya da çıkarır; giriş için kısmi F değerinin bir eşiği aşması, çıkış için başka bir eşiğin altına düşmesi gerekir. Bu yolla az sayıda değişkenle benzer ayrım sağlayan bir alt küme önerilir; ancak seçim veriye bağlıdır ve yeni verilerde tekrarlanmayabilir.

Gündelik örnek: Tüccar onlarca ölçüm yerine yalnız birkaçını almak istiyorsa adımsal seçim önce protein oranını, sonra tane uzunluğunu modele alabilir ve genişliğin katkısını önemsiz bulabilir. Böylece depoda yalnız iki ölçümle yetinmek mümkün olur.

Ne işe yarar: Kısmi F >= giriş eşiği (varsayılan 3.84) ile giriş, < çıkış eşiği (2.71) ile çıkış (Wilks Λ ölçütü); adım tablosu raporlanır, ana model tüm değişkenlerle kalır.

Sonuca etkisi: Ana model değişmez (yeniden kurma seçeneği kapalıyken); adım tablosu eklenir. Eşikler seçilen değişkenleri ve sırayı değiştirir.

Doğrulama verisinde: iris giriş sırası Petal.Length (F 1180.16), Sepal.Width (43.04), Petal.Width (34.57), Sepal.Length (4.72); UCLA social (79.01), outdoor (47.51), conservative (22.55). UCI Wine'da 3.84/2.71, 10/8 ve 1/0.5 eşik çiftleriyle seçilen değişkenler, giriş sırası ve her adımın kısmi F'si ile Wilks Λ'sı adım tablosunda raporlanır.

→ Aşamalı (stepwise) değişken seçimi

Ek çıktılar: Kovaryans matrisleri (havuzlanmış, grup, toplam)

Kavram: Kovaryans matrisleri, değişkenlerin varyanslarını ve birbirleriyle birlikte değişimlerini özetler: havuzlanmış grup içi matris LDA'nın kullandığı ortak yapıdır, grup matrisleri her grubun kendi yapısını, toplam matris ise grup ayrımı gözetmeden tüm verinin yapısını gösterir.

Gündelik örnek: Grup matrislerine bakan tüccar, bir çeşitte uzun tanelerin genellikle geniş de olduğunu, başka bir çeşitte ise uzunlukla genişliğin pek ilişkili olmadığını görebilir. Böyle bir fark, LDA yerine QDA'yı düşünmek için bir işarettir.

Ne işe yarar: Havuzlanmış grup içi, grup başına ve toplam kovaryans matrislerini yazar.

Sonuca etkisi: Model değişmez; kovaryans tabloları eklenir.

Doğrulama verisinde: UCLA havuzlanmış outdoor varyansı 16.9397.

→ Kovaryans ve korelasyon matrisi

Ek çıktılar: Kanonik skor grafiği (LD1 × LD2 + merkezler) ve Atanan sınıf, D-skorları ve üyelik olasılıklarını kaydet

Kavram: Kanonik skor grafiği, her gözlemi ilk iki diskriminant fonksiyonunun oluşturduğu düzlemde gösterir; grupların ne kadar ayrık ya da iç içe olduğu ve merkezlerinin konumu tek bakışta görülür. Kaydetme seçeneği her gözlemin atandığı sınıfı, skorlarını ve grup üyelik olasılıklarını veri setine ekler.

Gündelik örnek: Grafikte birinci çeşidin partileri bir köşede toplanırken ikinci ve üçüncü çeşitler kısmen üst üste biniyorsa, karışıklığın en çok bu iki çeşit arasında olacağı anlaşılır. Kaydedilen olasılıklarla tüccar, %60'ın altında olasılıkla sınıflanan partileri laboratuvara gönderebilir.

Ne işe yarar: Dis1 x Dis2 saçılımı ve grup merkezleri (sayısal çıktı değişmez); veri setine sınıf, kanonik skorlar ve sonsal olasılıkların yazılması.

Sonuca etkisi: Sayısal sonuçlar değişmez; grafik ve veri setine yeni sütunlar eklenir.

Doğrulama verisinde: iris, UCLA ve crops'ta her satır için atanan sınıf, sonsal olasılıklar ve (işaret kuralıyla) diskriminant skorları kaydedilir.

→ Fisher sınıflandırma fonksiyonları ve kanonik diskriminant fonksiyonları

kNN: komşu sayısı k, Çekirdek: yarıçap r, Çekirdek (Uniform / Normal / Epanechnikov / Biweight / Triweight), Uzaklık metriği (Mahalanobis (havuzlanmış kovaryans) / Köşegen (havuzlanmış varyanslar) / Öklid)

Kavram: Parametrik olmayan yöntemlerde kNN, yeni gözlemi en yakın k gözlemin gruplarına göre; çekirdek yöntemi ise her grubun belirli bir yarıçap içindeki yerel yoğunluğuna göre sınıflar. Uzaklık metriği 'yakınlığın' nasıl ölçüleceğini belirler: Mahalanobis uzaklığı değişkenlerin ölçeklerini ve aralarındaki ilişkiyi hesaba katar, Öklid uzaklığı katmaz.

Gündelik örnek: k = 5 ise yeni parti, ölçümleri ona en çok benzeyen 5 partiden 4'ü ikinci çeşitse ikinci çeşit sayılır. Uzunluk milimetre, protein yüzde ile ölçüldüğünden Mahalanobis uzaklığı birim farklarının ve uzunluk ile genişlik arasındaki ilişkinin sonucu çarpıtmasını önler.

Ne işe yarar: Parametrik olmayan sınıflama: k en yakın komşu (Mahalanobis FULL ya da Öklid uzaklığı; eşit ya da orantılı önsel) ve çekirdek yoğunluk tahmini (yarıçap r, havuzlanmış grup içi V, tam örneklem).

Sonuca etkisi: Yalnız kNN ve çekirdek yönteminde etkilidir; sınıflar, sonsal olasılıklar, yerine koyma ve LOO doğruluğu değişir.

Doğrulama verisinde: iris: k = 5 (FULL, eşit önsel), k = 5 (Öklid, orantılı önsel), normal r = 0.8, uniform r = 1.5 ve Epanechnikov r = 1 koşullarında yerine koyma ve LOO doğrulukları, yanlış sınıflanan satırlar ve sonsallar raporlanır.

→ En yakın komşu sayısı (k) ve komşuluk grafiği

Adımsal seçim (Wilks): modeli seçilen değişkenlerle yeniden kur (onay kutusu; varsayılan kapalı)

Kavram: Adımsal seçim yalnız bir öneri tablosu üretir; bu seçenek işaretlenirse model, seçimde kalan değişkenlerle yeniden kurulur ve tüm sonuçlar bu daha küçük değişken kümesine göre raporlanır. Seçim aynı veride yapıldığı için yeniden kurulan modelin başarımı biraz iyimser olabilir.

Gündelik örnek: Adımsal seçim yalnız protein oranını ve tane uzunluğunu önerdiyse tüccar bu seçeneği işaretleyerek modeli bu iki ölçümle yeniden kurar ve sınıflama doğruluğunun üç ölçümlü modelden ne kadar farklı olduğunu görür.

Ne işe yarar: İşaretliyse ana model adımsal seçimde kalan değişkenlerle, aynı gözlemler üzerinde yeniden kurulur; adım tablosu korunur ve yeniden kurulan değişkenler yazılır. İşaretli değilse model tüm değişkenlerle kalır. Seçilen değişken 2'den azsa ya da tüm adaylar seçilmişse model değişmez ve not yazılır.

Sonuca etkisi: Sınıflandırma doğruluğu, kanonik fonksiyonlar, Wilks Λ ve diğer ek çıktılar seçilen değişken kümesine göre değişir. Adım tablosu (sıra, kısmi F, Wilks Λ) ve giriş/çıkış eşikleri değişmez.

Doğrulama verisinde: Benzetim verisinde (3 sınıf x 30 gözlem, x1-x5) varsayılan eşiklerle x1 (F = 55.7803644115) ve x2 (F = 5.6804512930) seçilir; eşit önsel olasılıkla yeniden kurulan LDA doğruluğu {x1, x2} için 0.7111111111, {x1, x2, x3, x5} için 0.7333333333'tür. Eşik çifti 10/8'de yalnız x1, 1/0.5'te x1, x2, x5, x3 seçilir.

→ Aşamalı (stepwise) değişken seçimi

Gerçek veride örnek

Veri: UCLA OARC discrim (iş türü, n = 244)

Değişkenler: hedef job (1 müşteri hizmetleri, 2 mekanik, 3 dağıtım), açıklayıcılar outdoor, social ve conservative (ilgi puanları)

  • Soru: Dışa dönüklük (outdoor), sosyallik (social) ve muhafazakârlık (conservative) ilgi puanları üç iş grubunu (1 müşteri hizmetleri, 2 mekanik, 3 dağıtım) ne ölçüde ayırır?
  • Varsayım: Box's M = 26.12, F(12, 233002) = 2.14, p = .012; grup kovaryans matrisleri %5 düzeyinde eşit değildir, ancak test büyük örneklemde çok duyarlıdır (α = .001 ölçütüyle LDA kabul edilebilir; QDA ile karşılaştırma önerilir).
  • Sonuç: İki kanonik fonksiyonun birlikte anlamlılığı Wilks Λ = 0.364, χ²(6) = 242.55, p < .001; ikinci fonksiyon tek başına da anlamlıdır (Λ = 0.757, χ²(2) = 66.72, p < .001).
  • Etki büyüklüğü: Birinci fonksiyon özdeğeri 1.08 (varyansın %77.1'i, kanonik r = .72), ikincisi 0.32 (%22.9, r = .49).
  • Ek bulgu: Birinci fonksiyonu en çok social (-0.83) ve conservative (0.52), ikinciyi outdoor (0.93) belirler; müşteri hizmetleri grubu birinci fonksiyonun negatif ucunda (-1.22), dağıtım pozitif ucundadır (1.42). Eşit önselle yerine koyma doğruluğu .75, 5-kat CV doğruluğu .75 (SS = .08).
  • APA: LDA (N = 244, k = 3): F1 özdeğer = 1.08, Rc = .72, Λ = .364, χ²(6, N = 244) = 242.55, p < .001; doğruluk = .75; Box's M = 26.12, F(12, 233002) = 2.14, p = .012.

İlgili kavramlar

Fisher sınıflandırma fonksiyonları ve kanonik diskriminant fonksiyonlarıÇok değişkenli test istatistikleri (Wilks Λ, Pillai izi, Hotelling-Lawley, Roy)Aşamalı (stepwise) değişken seçimiBirini dışarıda bırak (LOO)Önsel sınıf olasılıkları (diskriminant)Kovaryans ve korelasyon matrisiBox M testi (kovaryans matrislerinin eşitliği)En yakın komşu sayısı (k) ve komşuluk grafiği

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.