MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Çok Boyutlu Ölçekleme

Çok Boyutlu Ölçeklemeanaliz

Nesneler arasındaki uzaklık ya da benzerlik bilgisinden yola çıkarak, bu uzaklıkları olabildiğince az bozan iki ya da birkaç boyutlu bir 'benzerlik haritası' çizen yöntem.

Kavram

Elimizde bir dizi nesne ve her nesne çiftinin birbirine ne kadar uzak (ya da benzer) olduğu bilgisi olsun: şehirler arası yol mesafeleri, tüketicilerin ürün çiftlerine verdiği benzerlik puanları ya da türlerin birçok özellikten hesaplanmış farklılıkları gibi. Çok boyutlu ölçekleme (MDS), bu uzaklıkları olabildiğince sadık yansıtan bir nokta yerleşimi (konfigürasyon) bulur: birbirine benzeyen nesneler haritada yakın, farklı olanlar uzak düşer. Harita, nesneler arasındaki ilişki yapısını ve bu yapının ardındaki boyutları görmeyi sağlar.

Yöntem, haritadaki uzaklıklarla özgün uzaklıklar arasındaki uyumsuzluğu en küçük yapmaya çalışır. Uyumsuzluk genellikle Kruskal Stress-1 ile ölçülür: Stress-1 = √[Σ(d_ij − d̂_ij)² / Σd_ij²]; burada d_ij haritadaki uzaklık, d̂_ij özgün uzaklıkların (ya da onların uygun bir dönüşümünün) karşılığıdır. Metrik MDS uzaklıkların kendisini orantılı olarak korumaya çalışır; metrik olmayan MDS ise yalnız sıralarını korur, yani 'A ile B, A ile C'den daha benzer' bilgisine sadık kalır. Bu, benzerlik yargıları gibi yalnız sıralama düzeyinde anlamlı verilerde daha uygundur.

Stress ne kadar küçükse harita uzaklıkları o kadar iyi yansıtır; Kruskal'ın yaygın kullanılan ölçütüne göre 0,05'in altı iyi, 0,10'un altı kabul edilebilir, 0,20'nin üzeri zayıf uyumdur. Boyut sayısı arttıkça stress her zaman azalır; bu nedenle boyut sayısı stress scree grafiği ve yorumlanabilirlik birlikte gözetilerek seçilir. Haritanın eksenleri döndürülebilir ve yansıtılabilir; boyutlara anlam, nesnelerin bilinen özellikleriyle karşılaştırılarak verilir. Algoritma yerel çözümlere takılabildiğinden birden çok başlangıç denenmesi yararlıdır.

Ne zaman kullanılır?

  • Nesneler arasındaki uzaklıklar ya da benzerlik yargıları doğrudan elde olduğunda ya da hesaplanabildiğinde ve bu ilişki yapısını bir haritada görmek istendiğinde (ürün algı haritaları, tür ya da alan benzerlikleri, test maddeleri arası ilişkiler).
  • Veri, değişkenlerle ölçülmüş gözlemlerden oluşuyorsa ve amaç değişkenliği yorumlanabilir doğrusal bileşenlerle özetlemekse PCA daha doğrudan bir yoldur.
  • Asıl amaç yerel komşulukları korumak ve çok sayıda gözlemde kümeleri görselleştirmekse t-SNE ya da UMAP; nesneleri gruplara ayırmaksa kümeleme analizi kullanılır.

Gündelik bir örnek

Bir kahve dükkânı, menüsündeki on kahve çeşidinin müşterilerce nasıl algılandığını merak ediyor. Bir tadım grubu her kahve çiftine 'ne kadar benzer?' sorusuyla 1-10 arası puan veriyor. MDS bu puanlardan iki boyutlu bir harita çizer: tadımcıların birbirine benzer bulduğu kahveler haritada yan yana düşer. Haritaya bakan işletmeci, yatay eksenin kahveleri 'hafiften sertçe', dikey eksenin ise 'meyvemsiden kakaomsuya' sıraladığını fark edebilir; haritada boş kalan bir köşe, menüde henüz karşılanmamış bir lezzet arayışını gösterebilir.

MerQur'da parametreler

Özellikler

Kavram: Ham veri girildiğinde uzaklıkların hesaplanacağı değişkenleri, hazır bir matris girildiğinde ise haritaya yerleştirilecek nesnelere karşılık gelen sütunları seçer. Harita yalnız bu bilgiden kurulur.

Gündelik örnek: Kahveler asitlik, acılık ve gövde puanlarıyla tanımlanıyorsa bu üç sütun seçilir ve kahveler arası uzaklıklar bunlardan hesaplanır. Tadım grubunun doğrudan verdiği 10 × 10'luk benzerlik tablosu kullanılıyorsa on kahve sütunu seçilir.

Ne işe yarar: Ham girdide gözlem x değişken sütunlarını, matris girdisinde k sütunu (k nesne) seçer.

Sonuca etkisi: Tüm uzaklıklar ve konfigürasyon seçilen sütunlara bağlıdır.

Doğrulama verisinde: USArrests Stress-1 değeri 0.0959113.

Boyut sayısı (2-5)

Kavram: Haritanın kaç boyutlu olacağıdır. Boyut eklemek özgün uzaklıkları daha iyi yansıtır ve stress'i düşürür, ama haritanın okunması ve boyutların yorumlanması zorlaşır; çoğu uygulamada iki ya da üç boyut tercih edilir.

Gündelik örnek: İki boyutlu harita kahveleri sertlik ve aroma eksenlerinde gösterir. Üçüncü boyut eklenince örneğin 'sütle uyum' gibi ek bir ayrım görülebilir; stress azalır ama haritayı bir kâğıt üzerinde göstermek güçleşir.

Ne işe yarar: Gömme uzayının boyutunu belirler.

Sonuca etkisi: Boyut arttıkça stress azalır, koordinat sayısı artar.

Doğrulama verisinde: USArrests 2 boyutta Stress-1 0.09591, 3 boyutta 0.03820, 5 boyutta 0 (yalnız 4 değişken var). eurodist 3 boyutta 0.06657.

Metric MDS (uzaklıkları korur)

Kavram: Metrik MDS, haritadaki uzaklıkların özgün uzaklıklarla orantılı olmasını ister; metrik olmayan MDS ise yalnız uzaklıkların sırasını korur. Uzaklıkların sayısal büyüklüğü anlamlıysa metrik, yalnız 'daha benzer / daha az benzer' sıralaması güvenilirse metrik olmayan MDS uygundur.

Gündelik örnek: Tadımcıların verdiği 8 puan ile 4 puan arasındaki farkın tam olarak 'iki kat benzerlik' anlamına geldiği söylenemez; ama 8 puan verilen çiftin 4 puan verilenden daha benzer bulunduğu açıktır. Bu yüzden benzerlik puanlarında metrik olmayan MDS daha savunulabilir bir seçimdir.

Ne işe yarar: Açıkken oran ölçeğinde (ratio) SMACOF uygulanır; kapalıyken yalnız sıralama korunur (metrik olmayan, monoton MDS) ve bağlar eşit tutulur (ikincil bağ yaklaşımı).

Sonuca etkisi: Stress-1, koordinatlar ve uyum ölçüleri değişir.

Doğrulama verisinde: USArrests metrik olmayan Stress-1 0.0788746. intelligence verisinde 0.028897 (bağlar ikincil yaklaşımla işlenir).

→ Metrik ve metrik olmayan MDS (SMACOF)

Mesafe metriği (euclidean, manhattan, cosine, chebyshev, Bray-Curtis, Gower, Jaccard)

Kavram: Ham değişkenlerden nesneler arası uzaklığın nasıl hesaplanacağını belirler. Öklid ve Manhattan farkların büyüklüğüne, kosinüs profilin biçimine, Chebyshev en büyük tek farka bakar; Bray-Curtis bolluk verileri, Jaccard var/yok verileri, Gower ise karışık türden değişkenler için tasarlanmıştır.

Gündelik örnek: Kahveler sayısal tat puanlarıyla tanımlanmışsa Öklid uzaklığı yeterlidir. Her kahve için 'çikolata notası var mı, karamel notası var mı?' gibi var/yok bilgileri tutuluyorsa Jaccard uzaklığı ortak notaların oranına göre benzerliği daha anlamlı ölçer.

Ne işe yarar: Ham girdide uzaklık tanımını belirler. Öklid, Manhattan, kosinüs ve Chebyshev z-standartlaştırılmış veride; Bray-Curtis, Gower ve Jaccard ham veride çalışır.

Sonuca etkisi: Uzaklık matrisi, dolayısıyla tüm çıktılar değişir.

Doğrulama verisinde: USArrests Stress-1: Öklid 0.09591, kosinüs 0.16198, Chebyshev 0.15531, Bray-Curtis 0.06141, Gower 0.09692, Manhattan 0.09749. dune: Bray-Curtis 0.18594, Jaccard 0.21138.

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Girdi türü (ham değişkenler, hazır uzaklık matrisi, hazır benzerlik matrisi)

Kavram: Analizin neyle başlayacağını belirler: ham değişkenler (uzaklıklar hesaplanır), hazır bir uzaklık matrisi ya da hazır bir benzerlik matrisi. MDS'nin özgün gücü, yalnız ikili uzaklık ya da benzerlik bilgisi olan durumlarda da çalışabilmesidir.

Gündelik örnek: İşletmeci kahvelerin tat profillerini ölçmemiş, yalnız tadım grubundan 'şu iki kahve ne kadar benzer?' yanıtlarını toplamışsa benzerlik matrisi girdisi kullanılır. Böylece kahvelerin hangi özelliklerde farklı olduğu bilinmeden de bir harita çıkarılabilir.

Ne işe yarar: Girdinin ham veri mi, k x k uzaklık mı, k x k benzerlik matrisi mi olduğunu belirler; matris girdisinde uzaklık metriği ve standardizasyon kullanılmaz.

Sonuca etkisi: Hesaplama yolunu belirler.

Doğrulama verisinde: eurodist Stress-1 0.072161. UScitiesD 0.0016896.

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Benzerlik -> uzaklık (max + min - s, kök(1 - s), 1 - s)

Kavram: MDS uzaklıklarla çalıştığı için benzerlik değerlerinin uzaklığa çevrilmesi gerekir: en benzer çift en küçük uzaklığa karşılık gelmelidir. Dönüşüm, benzerliğin türüne göre seçilir: genel puanlar için ters çevirme, korelasyonlar için √(1 − r), oranlar için 1 − s.

Gündelik örnek: Tadım grubu iki kahveye 10 üzerinden 9 benzerlik vermişse bu iki kahve haritada çok yakın, 2 vermişse uzak olmalıdır. Ters çevirme dönüşümü 9 puanı küçük, 2 puanı büyük bir uzaklığa çevirerek bunu sağlar.

Ne işe yarar: Yalnız benzerlik matrisinde uzaklığa dönüşümü seçer: ters çevirme (max(s) + min(s) - s), korelasyon benzerlikleri için kök(1 - s), oranlar için 1 - s.

Sonuca etkisi: Uzaklık matrisi ve tüm sonuçlar.

Doğrulama verisinde: intelligence kök(1 - s): 0.22674. Lawler kök(1 - s): 0.24013. Ekman 1 - s: 0.13120.

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Gruba göre renklendir

Kavram: Noktaları bilinen bir grup değişkenine göre renklendirir. Grup bilgisi haritanın hesaplanmasına girmediği için renklerin haritada bir arada toplanması, grupların uzaklık yapısında gerçekten ayrıştığını gösterir.

Gündelik örnek: Kahveler çekirdeklerin geldiği kıtaya göre renklendirildiğinde Afrika kahveleri haritanın 'meyvemsi' köşesinde toplanıyorsa tadımcıların algısı ile kahvelerin kökeni arasında bir bağ olduğu görülür.

Ne işe yarar: Noktaları bilinen sınıf sütununa göre renklendirir (ör. iris Species).

Sonuca etkisi: Yalnız grafik; sayısal çıktı değişmez.

Doğrulama verisinde: Sayısal çıktıda değişiklik yok.

Koordinatları veri setine kaydet

Kavram: Her nesnenin haritadaki koordinatlarını veri setine yeni sütunlar olarak ekler. Koordinatlar, haritanın boyutlarını nesnelerin bilinen özellikleriyle ilişkilendirmek (ör. korelasyonla) için kullanılabilir.

Gündelik örnek: İşletmeci her kahvenin birinci boyut koordinatını o kahvenin kafein miktarıyla karşılaştırır; ikisi güçlü biçimde ilişkiliyse birinci boyutun 'sertlik' olarak adlandırılması desteklenmiş olur.

Ne işe yarar: Gömme koordinatlarını yeni sütun olarak ekler (yalnız ham girdide).

Sonuca etkisi: Yalnızca veri setine sütun ekler.

Doğrulama verisinde: Gömme koordinatları veri setine yeni sütunlar olarak eklenir.

z-standardizasyonu

Kavram: Değişkenleri ortalaması 0, standart sapması 1 olacak biçimde dönüştürür; böylece büyük birimli bir değişken uzaklığa egemen olmaz. Hazır matris girdisinde ve kendi ölçeği olan uzaklıklarda (Bray-Curtis, Gower, Jaccard) bu seçeneğin etkisi yoktur.

Gündelik örnek: Kafein miligramla (60-200), asitlik ise 1-10 puanla ölçülüyorsa standartlaştırmadan hesaplanan uzaklıklar neredeyse yalnız kafein farkını yansıtır. Standartlaştırmadan sonra asitlik de haritada söz sahibi olur.

Ne işe yarar: Değişkenleri n bölenli z puanına çevirir; kapalıyken uzaklıklar ham birimlerle hesaplanır.

Sonuca etkisi: Ham veride uzaklıklar değişir; matris girdisinde ve Bray-Curtis, Gower, Jaccard uzaklıklarında etkisizdir.

Doğrulama verisinde: USArrests açıkken Stress-1 0.09591, kapalıyken 0.01231 (ham birimde Assault değişkeni baskındır).

→ z-puanı (standartlaştırma)

Değişkenler arası MDS (1 - r)

Kavram: Gözlemler yerine değişkenleri haritaya yerleştirir; iki değişken arasındaki uzaklık 1 − r (Pearson korelasyonu) olarak alınır. Birbiriyle güçlü pozitif ilişkili değişkenler yakın, ilişkisiz ya da ters yönlü olanlar uzak düşer.

Gündelik örnek: İşletmeci kahveler yerine tat özelliklerini haritaya koyarsa acılık ile gövdenin yan yana, asitlik ile tatlılığın ise birbirinden uzakta durduğunu görebilir. Bu, hangi tat özelliklerinin birlikte algılandığını gösterir.

Ne işe yarar: Gözlemler yerine değişkenleri konumlandırır; uzaklık 1 - Pearson r olur, uzaklık metriği yok sayılır.

Sonuca etkisi: Nesne kümesi ve uzaklık tanımı değişir.

Doğrulama verisinde: USArrests 4 değişken Stress-1 0.001254 (MerQur 0.001256). Crime 7 değişken 0.06388.

Başlangıç sayısı

Kavram: MDS algoritması bir başlangıç yerleşiminden yola çıkıp onu adım adım iyileştirir ve yerel bir çözümde takılabilir. Klasik (Torgerson) başlangıç genellikle iyi bir noktadır; ek rastgele başlangıçlar denenip en küçük stress'li çözümün seçilmesi, daha iyi bir çözümü kaçırma riskini azaltır.

Gündelik örnek: Harita bir kez çizildiğinde iki kahve yanlış tarafta takılı kalmış olabilir. Yerleşimi on farklı başlangıçtan yeniden kurup uyumu en iyi olanı seçmek, kahvelerin haritadaki yerlerinin tesadüfe bağlı olmadığından emin olmayı sağlar.

Ne işe yarar: 1 = yalnız klasik (Torgerson) başlangıç; daha büyük değerde ek rastgele başlangıçlar denenir ve en küçük stress seçilir (yerel minimum riskine karşı).

Sonuca etkisi: Stress ve koordinatlar; rastgele başlangıçlar koşular arası farklılık doğurabilir.

Doğrulama verisinde: USArrests 5 ve 20 başlangıçta 0.0959113. Wish (7 - s) 100 başlangıçta 0.217747.

→ Rastgele başlangıçlar ve yerel en iyi çözüm

Uyum ölçüleri (DAF, Tucker)

Kavram: Stress-1'in yanında başka uyum ölçüleri verir: DAF (açıklanan dağılım oranı) özgün uzaklıklardaki dağılımın haritaca ne kadarının yakalandığını, Tucker kongrüans katsayısı ise iki uzaklık kümesinin ne kadar benzer örüntü izlediğini gösterir; ikisi de 1'e yaklaştıkça uyum artar.

Gündelik örnek: DAF 0,98 ise tadımcıların algıladığı farklılıkların neredeyse tamamı iki boyutlu haritada korunmuştur. İşletmeci bu değerle haritayı ekibine 'algıların güvenilir bir özeti' olarak sunabilir.

Ne işe yarar: Ham stress, normalleştirilmiş ham stress (1 - phi^2), DAF (phi^2) ve Tucker kongrüans katsayısını verir.

Sonuca etkisi: Yalnız raporlanan uyum ölçüleri.

Doğrulama verisinde: USArrests normalleştirilmiş ham stress 0.0091990, DAF 0.9908010, Tucker 0.9953899. Ham stress 91.99'dur; değeri z standartlaştırmasındaki bölene bağlıdır.

→ Stres ölçütü, uyum ölçüleri ve Shepard diyagramı (MDS)

Stress scree (1..k boyut)

Kavram: 1'den seçilen boyut sayısına kadar her boyut sayısı için Stress-1 hesaplanır. Stress'in azalışı belirgin biçimde yavaşladığı nokta, ek boyutların artık fazla kazanç sağlamadığını gösterir ve boyut sayısının seçimine yardımcı olur.

Gündelik örnek: Stress bir boyutta 0,30, iki boyutta 0,08, üç boyutta 0,06 çıkıyorsa birden ikiye geçiş büyük bir iyileşme, ikiden üçe geçiş ise küçük bir kazançtır; işletmeci iki boyutlu haritayla yetinebilir.

Ne işe yarar: 1'den k'ya her boyut sayısı için Stress-1 hesaplar (stress grafiği).

Sonuca etkisi: Yalnız scree çıktısı.

Doğrulama verisinde: 1 boyutta MerQur Stress-1 değeri 0.30800'dür.

→ Stres ölçütü, uyum ölçüleri ve Shepard diyagramı (MDS)

Grafik (Konfigürasyon, Shepard, Stress scree)

Kavram: Konfigürasyon grafiği nesnelerin haritadaki yerini gösterir. Shepard diyagramı özgün uzaklıkları haritadaki uzaklıklara karşı çizer; noktalar düzgün bir çizgi ya da artan bir eğri etrafında toplanıyorsa harita uzaklıkları iyi korumuştur. Stress scree grafiği de boyut sayısına göre stress'in değişimini gösterir.

Gündelik örnek: Shepard diyagramında tadımcıların 'çok benzer' bulduğu çiftler haritada da kısa uzaklıklarda, 'çok farklı' bulduğu çiftler uzun uzaklıklarda duruyorsa harita algıları sadakatle yansıtıyordur. Çizgiden çok sapan bir çift, haritada yanlış temsil edilen iki kahveye işaret eder.

Ne işe yarar: Konfigürasyon grafiği, Shepard diyagramı (uyuşmazlık - gömülü uzaklık) veya stress scree gösterir.

Sonuca etkisi: Sayısal çıktı değişmez; scree seçilip boyutu 0 ise 5 boyut hesaplanır.

Doğrulama verisinde: Sayısal fark yok.

→ Stres ölçütü, uyum ölçüleri ve Shepard diyagramı (MDS)

Gerçek veride örnek

Veri: McNeil 1977, R datasets USArrests

Değişkenler: özellikler Murder, Assault, UrbanPop, Rape (50 eyalet, ham değişken girdisi)

  • Soru: 50 eyalet, dört suç/kentleşme göstergesindeki benzerliklerine göre iki boyutlu bir haritaya ne kadar iyi yerleştirilebilir?
  • Ayar: z-puanlı değişkenlerden Öklid uzaklıkları; metrik (oran düzeyi) MDS, SMACOF algoritması, 2 boyut.
  • Sonuç: Kruskal Stress-1 = 0.0959; Kruskal (1964) ölçeğinde (0.025 mükemmel, 0.05 iyi, 0.10 orta (kabul edilebilir sınır), 0.20 zayıf) uyum orta düzeydedir ve kabul edilebilir sınırın (0.10) altındadır.
  • Model uyumu: Özgün uzaklıklarla haritadaki uzaklıklar arasındaki korelasyonun karesi R² = 0.9621; uzaklıkların yaklaşık %96'sı iki boyutta korunur.
  • Betimsel: Birinci boyut genel suç düzeyini (Murder, Assault, Rape), ikinci boyut büyük ölçüde kentleşmeyi (UrbanPop) yansıtır; ör. Alaska ve California birinci boyutun yüksek ucundadır (2.80 ve 2.58).
  • Sınırlılık: Boyutların yönü ve döndürmesi keyfîdir; eksenler yorumlanırken değişkenlerle ilişkiye bakılmalıdır. 3 boyutta stress 0.038'e iner.
  • APA: z-puanlarından Öklid uzaklıklarıyla metrik çok boyutlu ölçekleme iki boyutlu bir çözüm verdi; Stress-1 = .096, R² = .96.

İlgili kavramlar

Stres ölçütü, uyum ölçüleri ve Shepard diyagramı (MDS)Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)Metrik ve metrik olmayan MDS (SMACOF)z-puanı (standartlaştırma)Rastgele başlangıçlar ve yerel en iyi çözümYamaç (scree) grafiğiPearson korelasyon katsayısıBağlı değerler ve sıfır farklar (sıra testleri)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.