MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Temel Bileşenler Analizi

Temel Bileşenler Analizianaliz

Birbiriyle ilişkili çok sayıda sayısal değişkeni, bilginin büyük kısmını koruyarak birbirinden bağımsız ve önem sırasına dizilmiş az sayıda bileşene indirgeyen boyut indirgeme yöntemi.

Kavram

Birçok değişken aynı şeyi kısmen ölçüyorsa (ör. gelir, konut fiyatı ve eğitim düzeyi) onları ayrı ayrı incelemek hem zahmetli hem yanıltıcıdır. Temel bileşenler analizi (PCA), 'bu değişkenlerdeki toplam değişkenlik daha az sayıda özet değişkenle ne ölçüde anlatılabilir?' sorusunu yanıtlar. Ölçek geliştirmede maddelerin ortak yapısını görmek, regresyonda birbiriyle aşırı ilişkili açıklayıcıları özetlemek ve çok boyutlu veriyi grafikle göstermek için kullanılır.

Her bileşen, değişkenlerin ağırlıklı bir toplamıdır: PC = a₁x₁ + a₂x₂ + … + a_px_p. Birinci bileşen, verideki en büyük değişkenliği yakalayan doğrultudur; ikinci bileşen birinciyle ilişkisiz olmak koşuluyla kalan en büyük değişkenliği yakalar, ve bu böyle sürer. Her bileşenin açıkladığı varyans, korelasyon (ya da kovaryans) matrisinin özdeğeridir; korelasyon matrisinde özdeğerlerin toplamı değişken sayısına eşittir, bu nedenle 'özdeğer / p' bileşenin açıkladığı varyans oranını verir. Yükler, her değişkenin bir bileşenle ne kadar güçlü ilişkili olduğunu gösterir ve bileşene anlam vermede kullanılır.

PCA bir model değil, verinin yeniden ifade edilmesidir; dağılım varsayımı gerektirmez, ama yalnız doğrusal ilişkileri yakalar ve aykırı değerlere duyarlıdır. Değişkenler farklı birimlerdeyse korelasyon matrisi (standartlaştırılmış veri) kullanılmalıdır. Kaç bileşen tutulacağı Kaiser ölçütü, açıklanan varyans hedefi ya da paralel analizle belirlenir; paralel analiz genellikle en güvenilir yoldur. PCA tüm varyansı açıklamaya çalışır; maddelerin ardındaki gizil yapıyı ortak varyans üzerinden modellemek amaçlanıyorsa açımlayıcı faktör analizi daha uygundur.

Ne zaman kullanılır?

  • Çok sayıda ilişkili sayısal değişkeni daha az sayıda özet değişkene indirgemek, verideki ana değişkenlik eksenlerini görmek ya da sonraki analizler için ilişkisiz bileşen skorları üretmek istendiğinde.
  • Amaç maddelerin ardındaki gizil yapıları (faktörleri) kuramsal olarak yorumlamaksa açımlayıcı faktör analizi tercih edilir.
  • Ana amaç yalnız görselleştirme ise ve ilişkiler doğrusal değilse t-SNE ya da UMAP; uzaklık ya da benzerlik matrisinden yola çıkılıyorsa çok boyutlu ölçekleme kullanılabilir.

Gündelik bir örnek

Bir belediye, 40 mahalleyi hane geliri, üniversite mezunu oranı, konut fiyatı, kişi başı yeşil alan, nüfus yoğunluğu ve ortalama yaş gibi on göstergeyle karşılaştırmak istiyor. On ayrı harita yerine PCA, göstergelerin birlikte değiştiğini fark eder: gelir, eğitim ve konut fiyatı hep birlikte yüksek ya da düşüktür. Birinci bileşen bu göstergeleri bir 'refah düzeyi' ekseninde toplar ve toplam değişkenliğin %55'ini açıklar; ikinci bileşen yoğunluk ile yeşil alanı karşı karşıya koyan bir 'kentsel sıkışıklık' eksenidir. Böylece mahalleler iki boyutlu tek bir grafikte konumlandırılabilir.

MerQur'da parametreler

Değişkenler

Kavram: Bileşenlere ayrılacak değişkenlerdir; analiz bu değişkenlerin korelasyon matrisine dayanır. Bileşenler yalnız seçilen değişkenler arasındaki ortak değişkenliği yansıtır; hiç değişmeyen (sabit) bir sütun bilgi taşımadığı için analizden çıkarılır.

Gündelik örnek: Belediye on göstergeye 'mahallenin bağlı olduğu ilçe kodu' gibi anlamsız bir sayı eklerse bileşenler bozulur. Tüm mahallelerde aynı değeri alan bir gösterge (ör. hepsinde 1 olan bir sütun) ise hiçbir farklılık taşımadığından atılır.

Ne işe yarar: Bileşenlere ayrılacak sayısal değişkenleri seçer; sabit sütunlar atılır ve metinde "Analizden çıkarılan sütun(lar)" uyarısıyla bildirilir.

Sonuca etkisi: Korelasyon matrisinin boyutu; bütün özdeğerler, yükler, KMO ve Bartlett testi seçilen değişkenlere göre hesaplanır.

Doğrulama verisinde: M255 12 maddede KMO 0.9344, Bartlett χ² 8676.71 (df 66).

Bileşen sayısı

Kavram: Özet olarak tutulacak bileşen sayısıdır. Tüm bileşenler birlikte verideki tüm varyansı açıklar; az sayıda bileşen tutmak bilginin bir kısmından vazgeçip sadelik kazanmak demektir. Özdeğerler tutulan bileşen sayısından etkilenmez.

Gündelik örnek: Belediye iki bileşen tutarsa mahalleleri 'refah' ve 'sıkışıklık' eksenlerinde özetler ve toplam değişkenliğin örneğin %70'ini korur. Beş bileşen tutarsa %90'ı korur ama özet daha karmaşık olur.

Ne işe yarar: "Elle" ölçütünde tutulacak bileşen sayısı (2..min(p, n-1)).

Sonuca etkisi: Yük, katsayı, skor ve h² sütun sayısı, kümülatif varyans. Özdeğerler değişmez.

Doğrulama verisinde: k = 2: kümülatif %62.3; k = 3: %68.3; k = 5: %78.1; k = 12: %100. İlk iki bileşenin yükleri k'dan bağımsızdır (ITEM13 0.7273 ve -0.4492).

Eksik Veri (Sil / Ortalama / Medyan / KNN ile doldur)

Kavram: Eksik değeri olan satırların analizden çıkarılmasını ya da eksik değerin ortalama, medyan veya en benzer satırlardan tahminle doldurulmasını sağlar. Ortalama ile doldurma değişkenlikleri ve korelasyonları biraz zayıflatır; çok eksik varsa bileşenler etkilenebilir.

Gündelik örnek: Üç mahallenin yeşil alan verisi eksikse bu mahalleler silinebilir ya da yeşil alanları, diğer göstergeleri en çok benzeyen beş mahallenin ortalamasıyla doldurulabilir.

Ne işe yarar: Eksik satırı atar ya da sütun ortalaması, medyanı veya 5 en yakın komşunun ortalamasıyla (nan-Öklid, ham ölçek) doldurur.

Sonuca etkisi: n ve korelasyon matrisi.

Doğrulama verisinde: M255 λ1: silme n = 1365, 6.2491; ortalama n = 1428, 6.2374; medyan 6.2347; KNN 6.2959. airquality: silme n = 111, λ1 2.3599; ortalama n = 153, 2.1820.

→ Basit atama (ortalama, medyan, kNN ile doldurma)

Bileşen sayısı ölçütü (Elle / Kaiser / Kümülatif varyans hedefi / Paralel analiz (Horn))

Kavram: Kaç bileşen tutulacağına karar verme yollarıdır. Kaiser ölçütü özdeğeri 1'den büyük, yani tek bir değişkenden daha fazla varyans açıklayan bileşenleri tutar; kümülatif varyans ölçütü belirli bir açıklama yüzdesine ulaşılana kadar bileşen ekler; paralel analiz ise gözlenen özdeğerleri tamamen rastgele verilerden elde edilen özdeğerlerle karşılaştırır.

Gündelik örnek: Paralel analiz, belediyenin göstergeleriyle aynı boyutta ama aralarında hiçbir ilişki olmayan rastgele veriler üretir. Gerçek verinin yalnız ilk iki özdeğeri bu rastgele verilerinkinden büyükse yalnız iki bileşen 'gerçek' bir yapıyı yansıtıyordur.

Ne işe yarar: Kaiser (λ > 1; kovaryansta λ > ortalama); kümülatif varyans >= hedef; paralel analiz (gözlenen λ, 100 normal benzetimin %95 niceliğinden ya da ortalamasından büyük olanlar). Önerilen < 2 ise grafik için 2 tutulur.

Sonuca etkisi: Tutulan bileşen sayısı ve buna bağlı yük, skor ve h² sütunları.

Doğrulama verisinde: M255 Kaiser 2, varyans (%80) 6, paralel 2; USArrests Kaiser 1 (tutulan 2), paralel 1; Crime Kaiser 2, paralel 1. Paralel analiz eşikleri benzetime dayandığından Monte Carlo hata payı taşır.

→ Kaiser ölçütü (özdeğer > 1)

Paralel analiz ölçütü (%95 nicelik (Glorfeld) / Ortalama (Horn))

Kavram: Paralel analizde gözlenen özdeğerin hangi rastgele eşiği aşması gerektiğini belirler: rastgele özdeğerlerin ortalaması (Horn) ya da %95 niceliği (Glorfeld). %95 nicelik daha katı bir eşiktir ve tesadüfen büyük çıkan bileşenleri tutma olasılığını azaltır.

Gündelik örnek: Üçüncü bileşenin özdeğeri rastgele verilerin ortalamasından biraz büyük, ama rastgele verilerin %5'inde görülebilecek kadar küçükse Horn ölçütü onu tutar, Glorfeld ölçütü ise 'şansla açıklanabilir' diyerek dışarıda bırakır.

Ne işe yarar: Gözlenen özdeğerin karşılaştırıldığı benzetim eşiği; varsayılan %95 nicelik (Glorfeld 1995).

Sonuca etkisi: Paralel analizin önerdiği bileşen sayısı.

Doğrulama verisinde: M255 ikisinde de 2; USArrests ve Crime ikisinde de 1 (tutulan 2).

→ Paralel analiz (Horn) ve MAP ölçütü

Varyans hedefi (%)

Kavram: Kümülatif varyans ölçütünde, tutulan bileşenlerin birlikte açıklaması istenen toplam varyans yüzdesidir. Yüksek hedef daha çok bileşen ve daha az bilgi kaybı, düşük hedef daha sade bir özet demektir.

Gündelik örnek: Belediye göstergelerdeki farklılıkların en az %80'inin korunmasını istiyorsa bileşenler bu düzeye ulaşılana kadar eklenir; bu, örneğin üç bileşen tutmak anlamına gelebilir.

Ne işe yarar: Kümülatif varyans hedefi ölçütünde ulaşılması istenen açıklanan varyans yüzdesi.

Sonuca etkisi: Önerilen ve tutulan bileşen sayısı.

Doğrulama verisinde: M255 %50: önerilen 1 (tutulan 2); %80: 6; %90: 9; %99: 12.

→ Açıklanan varyans oranı

Bileşen skorlarını veri setine kaydet

Kavram: Bileşen skorları, her gözlemin her bileşendeki konumudur; ortalaması 0, standart sapması 1 olacak biçimde verilir. Skorlar birbiriyle ilişkisiz özet değişkenler olarak sonraki analizlerde (ör. regresyon ya da kümeleme) kullanılabilir.

Gündelik örnek: Her mahalleye bir 'refah skoru' ve bir 'sıkışıklık skoru' yazılır. Refah skoru +1,5 olan mahalle ortalamanın belirgin biçimde üzerindedir; belediye bu skorları kaynak dağıtımı planlamasında doğrudan kullanabilir.

Ne işe yarar: Standart bileşen skorlarını (ortalama 0, SS 1) PCA_PC1.. sütunları olarak ekler; döndürme seçiliyse döndürülmüş skorlar kaydedilir.

Sonuca etkisi: Veri setine yeni sütunlar ekler; tablo ve özdeğerler değişmez.

Doğrulama verisinde: Korelasyon PCA'sında USArrests 1. eyalet PC1 skoru 0.6195; kovaryans PCA'sında 1. satır 0.7739. Döndürülmüş skorlarda 1. satır 1.0046.

→ Faktör ve bileşen puanları

Döndürme (Yok / Varimax / Promax (m = 4))

Kavram: Döndürme, tutulan bileşenlerin açıkladığı toplam varyansı değiştirmeden eksenleri yeniden konumlandırır; amaç her değişkenin az sayıda bileşene güçlü yüklendiği, daha kolay yorumlanan bir yük örüntüsüdür. Varimax bileşenleri ilişkisiz (dik) tutar, promax ise bileşenlerin birbiriyle ilişkili olmasına izin verir.

Gündelik örnek: Döndürmeden önce tüm göstergeler birinci bileşene orta düzeyde yükleniyorsa bileşeni adlandırmak zordur. Varimax sonrası gelir ve eğitim bir bileşende, yoğunluk ve yeşil alan diğerinde belirginleşir; refah ile sıkışıklığın gerçekte ilişkili olması bekleniyorsa promax daha uygun olur.

Ne işe yarar: Tutulan yükleri varimax (dik; Kaiser normalleştirmeli, ölçüt 1e-14) ya da promax (eğik, κ = 4) ile döndürür.

Sonuca etkisi: Yükler, skorlar ve değişken-bileşen eşleştirmesi; promaxta bileşen korelasyonları da verilir. Özdeğerler değişmez.

Doğrulama verisinde: Varimax M255 ITEM13 0.8410; promax USArrests bileşen korelasyonu 0.3069, M255 0.6388.

→ Faktör döndürme (varimax, promax, oblimin)

Kovaryans matrisi PCA'sı

Kavram: Standartlaştırılmamış veriyle, yani kovaryans matrisi üzerinden yapılan PCA'dır. Bu durumda büyük varyanslı değişkenler bileşenlere egemen olur; bu yüzden yalnız tüm değişkenler aynı birimde ölçüldüğünde ve ölçek farklılıkları anlamlı olduğunda tercih edilir.

Gündelik örnek: Konut fiyatı yüz binlerle, üniversite mezunu oranı yüzdeyle ölçülüyorsa kovaryans PCA'sında birinci bileşen neredeyse yalnız konut fiyatından oluşur. Bütün göstergeler örneğin aynı birimde hesaplanmış harcama kalemleriyse kovaryans PCA'sı anlamlı olabilir.

Ne işe yarar: Standartlaştırmasız PCA; özdeğer ve yükler ham birimdedir.

Sonuca etkisi: Büyük varyanslı değişkenler bileşenlere baskın olur; metin "(kovaryans matrisi)" der ve eşleştirme eşiklerini standartlaştırılmış yüklere uygular.

Doğrulama verisinde: USArrests λ1 = 7011.11 (%96.6; Assault baskın); Temperature λ = 154.3106 ve 9.1630.

→ Kovaryans ve korelasyon matrisi

Ortak varyans (h²) + değişken MSA

Kavram: Ortak varyans (h²), bir değişkenin varyansının tutulan bileşenlerce açıklanan kısmıdır; düşük h², değişkenin özette iyi temsil edilmediğini gösterir. MSA ise her değişkenin diğerleriyle ortak yapıyı ne kadar paylaştığını, kısmi korelasyonlara bakarak ölçer; düşük MSA'lı değişkenler analize az katkı verir.

Gündelik örnek: Ortalama yaşın h² değeri 0,20 çıkarsa refah ve sıkışıklık bileşenleri mahallelerin yaş farklılıklarının yalnız %20'sini yansıtır; yaş ayrıca incelenmelidir. Bir göstergenin MSA'sı çok düşükse diğerleriyle pek ortak yanı yoktur ve analizden çıkarılması düşünülebilir.

Ne işe yarar: Her değişkenin tutulan bileşenlerce açıklanan varyansını (h²) ve değişken düzeyinde örneklem yeterliliğini (MSA) verir.

Sonuca etkisi: Tabloya h² ve MSA sütunları ekler; bileşen çözümü değişmez.

Doğrulama verisinde: M255 k = 2 h² ITEM13 0.7307; MSA ITEM13 0.9225 (anti-imaj korelasyon matrisinin köşegeni).

→ Ortak varyans (communality)

Grafik (Scree / Biplot / Yük düzlemi / Bileşen skorları)

Kavram: Scree grafiği özdeğerleri sırayla çizer ve eğrinin düzleştiği 'dirsek' bileşen sayısı için bir ipucu verir. Biplot gözlemleri ve değişkenleri aynı düzlemde, yük düzlemi değişkenlerin bileşenlere yüklerini, skor grafiği de gözlemlerin bileşen skorlarını gösterir.

Gündelik örnek: Biplotta mahalleler noktalar, göstergeler oklar olarak görünür: 'gelir' oku sağa doğruysa sağda kalan mahalleler gelir bakımından üst sıradadır. Belediye hangi mahallelerin hangi özellikleriyle öne çıktığını tek bir resimde görebilir.

Ne işe yarar: Çizilecek grafiği seçer.

Sonuca etkisi: Sayısal çıktıyı değiştirmez; kovaryans PCA'sında skor ve biplot grafiği standart skorları çizer.

→ Yamaç (scree) grafiği

Gerçek veride örnek

Veri: UCLA OARC M255 anket verisi (J. Sidanius; 1428 kayıt, 1365 tam)

Değişkenler: değişkenler ITEM13-ITEM24 (12 tutum maddesi)

  • Soru: UCLA M255 anketinin 12 maddesi (ITEM13-ITEM24) daha az sayıda bileşende nasıl özetlenebilir?
  • Varsayım: KMO = 0.934 (mükemmel) ve Bartlett küresellik testi χ²(66) = 8676.71, p < .001; korelasyon matrisi bileşen analizine uygundur. Liste bazında silmeyle 1428 satırın 1365'i kullanılır (%4.4 kayıp).
  • Sonuç: Korelasyon matrisinin ilk özdeğeri 6.249 (varyansın %52.1'i), ikincisi 1.229 (%10.2); yalnız iki bileşen Kaiser ölçütünü (λ > 1) aşar. İstenen 5 bileşen toplam varyansın %78.1'ini açıklar.
  • Yük örüntüsü: Tüm maddeler PC1'e 0.59-0.82 arasında yüklenir (genel faktör); PC2 bir kontrast bileşenidir: ITEM19, ITEM20, ITEM18 ve ITEM22 pozitif, ITEM13, ITEM14 ve ITEM15 negatif yüklüdür.
  • Betimsel: PC3-PC5 her biri varyansın %5-6'sını açıklar ve tek-iki maddeye dayanır (ör. PC3'te ITEM24 0.54, PC4'te ITEM20 0.51); yorum için 2 bileşen yeterlidir.
  • Sınırlılık: PCA toplam varyansı özetler, ölçme hatasını ayırmaz; gizil yapı aranıyorsa açıklayıcı faktör analizi tercih edilmelidir. Bileşen işaretleri keyfîdir.
  • APA: Korelasyon matrisi üzerinden temel bileşenler analizi (N = 1365; KMO = .93; Bartlett χ²(66) = 8676.71, p < .001) iki bileşenin özdeğerinin 1'i aştığını gösterdi (6.25 ve 1.23; %62.3); beş bileşen varyansın %78.1'ini açıkladı.

İlgili kavramlar

Faktör döndürme (varimax, promax, oblimin)Faktör (bileşen) yükleriÖzdeğer ve özvektörParalel analiz (Horn) ve MAP ölçütüKaiser ölçütü (özdeğer > 1)Faktör ve bileşen puanlarıOrtak varyans (communality)Yamaç (scree) grafiği

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.