İstatistik Sözlüğü → t-SNE
t-SNEanaliz
Çok sayıda değişkenle tanımlanmış gözlemleri, birbirine yakın olanları yine yakın gösterecek biçimde iki ya da üç boyutlu bir haritaya yerleştiren doğrusal olmayan görselleştirme yöntemi.
Kavram
Onlarca değişkenle ölçülmüş gözlemlerde hangi gözlemlerin birbirine benzediğini doğrudan görmek mümkün değildir. PCA gibi doğrusal yöntemler, ilişkiler eğri ya da karmaşık olduğunda grupları üst üste bindirebilir. t-SNE (t-dağılımlı stokastik komşu gömme), her gözlemin yakın komşularını haritada da yakın tutmaya odaklanır; böylece yüksek boyutlu verideki yerel gruplar, iki boyutlu bir grafikte ayrı adacıklar olarak görünür.
Yöntem önce özgün uzayda, her gözlem çifti için birinin diğerini 'komşu seçme' olasılığını, gözlemin çevresine yerleştirilen bir Gauss eğrisiyle hesaplar; eğrinin genişliği perplexity ayarına göre her nokta için ayrı belirlenir. Ardından iki boyutlu haritada benzer olasılıklar, kuyrukları daha kalın olan Student-t dağılımıyla tanımlanır. Harita, iki olasılık dağılımı arasındaki farkı ölçen Kullback-Leibler ıraksaması KL(P‖Q) en küçük olana kadar adım adım düzeltilir. Kalın kuyruklu t dağılımı, birbirine benzemeyen noktaların haritada rahatça uzaklaşmasına izin verir ve kümelerin birbirine yığılmasını önler.
t-SNE bir görselleştirme aracıdır, ölçüm aracı değildir: eksenlerin anlamı yoktur, kümelerin büyüklükleri ve kümeler arasındaki uzaklıklar genellikle yorumlanamaz; yalnız 'hangi noktalar birbirine yakın' bilgisi güvenilirdir. Sonuç perplexity, iterasyon sayısı ve başlangıç gibi ayarlara duyarlıdır; bir yapının gerçek olduğuna karar vermeden önce farklı ayarlarla tekrarlanmalıdır. Yöntem yeni gözlemleri mevcut haritaya yerleştirmek için bir dönüşüm üretmez ve büyük veride hesaplaması ağırdır. Haritada görülen kümeler, kümeleme analizinin yerini tutmaz.
Ne zaman kullanılır?
- Çok sayıda değişkenle tanımlanmış gözlemlerin (görüntüler, gen ekspresyonu, anket profilleri, ses özellikleri) yerel benzerlik yapısını iki ya da üç boyutlu bir grafikte keşfetmek istendiğinde.
- Bileşenlerin yorumlanabilir olması, uzaklıkların korunması ya da yeni gözlemlere uygulanabilirlik gerekiyorsa PCA; benzer bir harita daha hızlı ve küresel yapıyı daha iyi koruyarak isteniyorsa UMAP tercih edilir.
- Elde bir uzaklık ya da benzerlik matrisi varsa ve uzaklıkların haritada olabildiğince sadık korunması isteniyorsa çok boyutlu ölçekleme kullanılır.
Gündelik bir örnek
Bir müzik uygulaması, 5000 şarkıyı tempo, enerji, dans edilebilirlik, akustiklik ve ses yüksekliği gibi 20 ses özelliğiyle tanımlıyor. Bu 20 boyutlu bilgiyi gözle incelemek imkânsızdır. t-SNE şarkıları iki boyutlu bir haritaya yerleştirir: birbirine çok benzeyen şarkılar yan yana düşer ve harita üzerinde 'sakin akustik şarkılar', 'yüksek tempolu dans parçaları' gibi adacıklar belirir. Uygulama ekibi bir şarkının hangi adacıkta durduğuna bakarak ona benzer öneriler sunabilir; ancak iki adacık arasındaki uzaklığın, o iki tarzın birbirinden ne kadar farklı olduğunu gösterdiği varsayılmamalıdır.
MerQur'da parametreler
Özellikler
Kavram: Gözlemler arasındaki benzerliğin hesaplanacağı değişkenlerdir. Değişkenler standartlaştırıldığı için her biri uzaklığa benzer ağırlıkla katılır; ilgisiz değişkenler ise gerçek komşulukları bulanıklaştırır.
Gündelik örnek: Şarkılar tempo, enerji ve akustiklikle tanımlanırsa harita müzik tarzlarını yansıtır. Bunlara şarkının yüklendiği tarih gibi ilgisiz bir bilgi eklenirse aynı tarzdaki şarkılar haritada dağılmaya başlar.
Ne işe yarar: Girdi sütunları; sabit sütun atılır; veriler z-standartlaştırılır (n paydalı).
Sonuca etkisi: Uzaklıklar ve komşuluk olasılıkları (P) seçilen özelliklerden hesaplanır.
Doğrulama verisinde: iris ve digits için K = 91 ve P hesaplanır (digits'te 2 sabit sütun atılır).
Perplexity
Kavram: Perplexity, her noktanın yaklaşık kaç 'etkin komşusu' olduğunu belirleyen ayardır. Küçük değer çok yerel ayrıntıya odaklanır ve küçük, parçalı kümeler üretebilir; büyük değer daha geniş komşulukları dikkate alarak daha genel bir yapı gösterir. Genellikle 5 ile 50 arasında değerler denenir.
Gündelik örnek: Perplexity 5 ise her şarkı yalnız kendine en çok benzeyen birkaç şarkıya bakar ve harita çok sayıda küçük adacığa bölünür. Perplexity 50 ise her şarkı daha geniş bir çevreyi hesaba katar ve 'dans müziği' gibi büyük tarzlar tek bir bölge olarak görünür.
Ne işe yarar: Her noktanın etkin komşu sayısı; Gauss genişliği σ_i ikili aramayla log(perplexity) entropisine ayarlanır. Barnes-Hut yaklaşımında yalnız K = min(n - 1, ⌊3·perplexity + 1⌋) en yakın komşu kullanılır.
Sonuca etkisi: Yerel ve genel yapı arasındaki denge; KL ve güvenilirlik değişir.
Doğrulama verisinde: iris 5: K = 16, KL (tam) 0.3541, güvenilirlik 0.986; 30: K = 91, 0.1503, 0.992; 50: K = 149 (⌊3·50 + 1⌋ = 151 yerine n - 1 = 149), 0.0973, 0.987. Rtsne perplexity 50 ve 100'ü reddeder (3·perplexity > n-1); MerQur kabul eder.
İterasyon
Kavram: Haritanın kaç adımda düzeltileceğidir. İlk adımlarda kümelerin hızla ayrışması için özel bir evre (erken abartma) uygulanır, sonra harita ince ayarla yerine oturur; adım sayısı çok azsa harita henüz düzenlenmeden durur.
Gündelik örnek: Şarkılar haritaya önce kabaca dağıtılır, ardından her adımda benzer şarkılar biraz daha yaklaştırılır, farklılar uzaklaştırılır. Yalnız 300 adım atılırsa adacıklar hâlâ birbirine karışık görünebilir; 1000 adımdan sonra harita genellikle durulur.
Ne işe yarar: En çok yineleme sayısı; ilk 250 yineleme erken abartma evresidir, alt sınır 500'dür.
Sonuca etkisi: İyileştirmenin ne kadar sürdüğü; KL tanımsızsa "-" yazılır.
Doğrulama verisinde: iris, tam KL: 500 (alt sınır): 0.1529; 1000: 0.1503; 5000: 0.1501 (erken durdurma).
Eksik Veri
Kavram: Eksik değeri olan satırların analizden çıkarılmasını ya da eksik değerin ortalama, medyan veya en benzer satırlardan tahminle doldurulmasını sağlar. Doldurulan değerler gözlemi yapay olarak ortalamaya yaklaştırabilir ve haritadaki yerini etkileyebilir.
Gündelik örnek: Bazı şarkıların dans edilebilirlik puanı hesaplanmamışsa bu şarkılar haritadan çıkarılabilir. Ortalamayla doldurulursa bu şarkılar haritada tarzlarının arasına, gerçekte ait olmadıkları bir ara bölgeye düşebilir.
Ne işe yarar: Eksik satırı atar ya da ortalama, medyan veya KNN ile doldurur.
Sonuca etkisi: n ve gömme.
Doğrulama verisinde: airquality: silme n = 111, KL 0.2220; ortalama n = 153, 0.4055; medyan 0.3231; KNN 0.3421.
Gruba göre renklendir
Kavram: Noktaları bilinen bir grup değişkenine göre renklendirir. Bu yalnız görsel bir eklemedir; grup bilgisi haritanın hesaplanmasına girmez, bu yüzden renklerin haritadaki kümelerle örtüşmesi, grupların ölçümlerde gerçekten ayrıştığını gösterir.
Gündelik örnek: Şarkılar, müzik editörlerinin verdiği tür etiketleriyle (pop, caz, klasik) renklendirilir. Ses özelliklerinden kurulan haritada caz şarkıları kendiliğinden bir arada toplanıyorsa editör etiketleriyle ses özellikleri birbirini doğruluyordur.
Ne işe yarar: Renk; satır sınırı aşılırsa tabakalı örnekleme yapılır.
Sonuca etkisi: Gömmeyi değiştirmez.
Doğrulama verisinde: iris'te gömme aynıdır; digits 500 satır sınırında tabakalar orantılıdır (her rakam 48-51).
Koordinatları veri setine kaydet
Kavram: Her gözlemin haritadaki iki koordinatını veri setine yeni sütunlar olarak ekler. Bu koordinatlar görselleştirme ya da keşif için kullanılabilir; ancak eksenlerin kendi anlamı olmadığından ölçüm gibi yorumlanmamalıdır.
Gündelik örnek: Her şarkının yanına haritadaki konumu yazılır; ekip bu koordinatlarla şarkıları başka bir grafik aracında da çizebilir. Bir şarkının birinci koordinatının büyük olması onun 'daha enerjik' olduğu anlamına gelmez.
Ne işe yarar: TSNE_1 ve TSNE_2 sütunlarını veri setine ekler.
Sonuca etkisi: Gömme değişmez.
Rastgele tohum
Kavram: Rastgele başlangıç konumlarını ve rastgele adımları sabitleyerek aynı ayarlarla aynı haritanın elde edilmesini sağlar. Başlangıç PCA skorlarından alınıyorsa başlangıç rastgele olmadığı için tohumun etkisi kalmaz.
Gündelik örnek: Rastgele başlangıçla iki kez çalıştırılan analiz, adacıkları haritanın farklı köşelerinde gösterebilir. Aynı tohum kullanıldığında ekip her seferinde aynı haritayı görür ve sunumlarda karışıklık olmaz.
Ne işe yarar: Rastgele başlangıç tohumu.
Sonuca etkisi: PCA başlangıcında (varsayılan) gömmeyi değiştirmez; rastgele başlangıçta ve Öklid dışı metrikte etkilidir.
Doğrulama verisinde: PCA başlangıcında tohum 0, 42, 123 ve 1..10 birebir aynı gömmeyi verir (tasarım gereği; PARAMETRE ETKİSİZ, belgelenmiş).
En fazla satır
Kavram: t-SNE'nin hesaplama yükü gözlem sayısıyla hızla arttığından, satır sayısı bu sınırı aşarsa verinin rastgele bir alt örneklemiyle çalışılır. Alt örneklem, haritanın genel yapısını gösterir ama nadir küçük grupları kaçırabilir.
Gündelik örnek: Uygulamanın kataloğunda 200.000 şarkı varsa sınır 5000 tutulduğunda rastgele seçilmiş 5000 şarkının haritası çıkarılır. Yalnız 30 şarkıdan oluşan çok nadir bir tarz bu örneklemde neredeyse hiç görünmeyebilir.
Ne işe yarar: Aşılırsa tohumlu (42, sabit) rastgele örneklem alınır; 0 = sınırsız.
Sonuca etkisi: Gömmede kullanılan n; örneklem alındığında metinde uyarı verilir.
Doğrulama verisinde: digits 500: n = 500 (uyarı metinde); 0 ve 2000: 1797 (aynı gömme).
Öğrenme oranı
Kavram: Her düzeltme adımında noktaların ne kadar hareket ettirileceğini belirler. Çok küçük oran haritanın yavaş ilerlemesine ve sıkışık kalmasına, çok büyük oran noktaların düzensiz biçimde savrulmasına yol açabilir.
Gündelik örnek: Öğrenme oranı çok düşükse şarkılar her adımda çok az yer değiştirir ve 1000 adımın sonunda bile adacıklar birbirine yapışık kalabilir. Çok yüksekse şarkılar haritada bir oraya bir buraya sıçrar ve düzgün kümeler oluşmaz.
Ne işe yarar: Gradyan adımının büyüklüğü; "Otomatik" max(n/12/4, 50) = 50 (iris).
Sonuca etkisi: Yakınsama ve gömme kalitesi.
Doğrulama verisinde: 200: KL 0.1540, güvenilirlik 0.991 (10 tohum medyanı Rtsne eta = 200 ile sınır içinde); 1000: KL 0.5803, güvenilirlik 0.974.
Erken abartma
Kavram: İlk evrede özgün uzaydaki komşuluk olasılıkları yapay olarak büyütülür; bu, birbirine benzeyen noktaların erkenden sıkı gruplar oluşturmasını ve gruplar arasında boşluk açılmasını sağlar. Değer büyüdükçe kümeler arası boşluklar genellikle belirginleşir.
Gündelik örnek: Erken abartma, şarkıların ilk turlarda 'arkadaşlarını' bulup küçük gruplar halinde toplanmasına benzer; gruplar oluştuktan sonra haritadaki yerleri ince ayarla belirlenir. Bu evre olmadan farklı tarzlar haritanın ortasında birbirine karışmış halde kalabilir.
Ne işe yarar: İlk evrede P olasılıklarının çarpıldığı katsayı; kümelerin erken ayrışmasını sağlar.
Sonuca etkisi: Kümeler arası boşluk ve son KL.
Doğrulama verisinde: iris 4: KL 0.1696; 12: 0.1503; 24: 0.1746.
Başlangıç (PCA / Rastgele)
Kavram: Noktaların haritadaki ilk konumlarının nereden alınacağıdır. PCA başlangıcı, verinin ana doğrultularını başlangıç düzeni olarak kullanır; her çalıştırmada aynı sonucu verir ve genel yerleşimi daha iyi korur. Rastgele başlangıç ise her tohumda farklı bir harita üretebilir.
Gündelik örnek: PCA başlangıcında şarkılar önce 'sakinden enerjiğe' gibi ana bir eksen boyunca dizilir, t-SNE sonra yerel grupları ayrıştırır. Rastgele başlangıçta şarkılar haritaya gelişigüzel serpilir ve aynı tarzlar her çalıştırmada başka bir köşede toplanabilir.
Ne işe yarar: PCA skorları (PC1 sd 1e-4) ya da rastgele başlangıç. Öklid dışı metrikte motor rastgele başlangıç kullanır ve metin gerçek başlangıcı yazar.
Sonuca etkisi: Gömmenin yerleşimi; PCA başlangıcı deterministiktir.
Doğrulama verisinde: Rastgele başlangıç 10 tohum medyan güvenilirlik 0.9910 (PCA 0.9922).
Uzaklık metriği (Öklid / Manhattan / Kosinüs (1-cos) / Pearson korelasyonu (1-r))
Kavram: Özgün uzayda iki gözlemin ne kadar benzer sayılacağını tanımlar. Öklid ve Manhattan değerlerin mutlak farklarına, kosinüs ve korelasyon uzaklıkları ise değerlerin büyüklüğünden çok profilin biçimine bakar.
Gündelik örnek: Kosinüs uzaklığında iki şarkı, özelliklerinin oranları benzerse (ör. ikisi de enerjiden çok akustikliğe yaslanıyorsa) ses yükseklikleri farklı olsa bile yakın sayılır. Öklid uzaklığında ise ses yüksekliğindeki büyük fark onları birbirinden uzaklaştırır.
Ne işe yarar: Girdi uzayı uzaklığı; Barnes-Hut yaklaşımında tüm metriklerde kNN uzaklığının karesi alınır.
Sonuca etkisi: Komşuluk olasılıkları ve gömme.
Doğrulama verisinde: iris Manhattan KL 0.1684 (10 tohum medyanları Rtsne is_distance ile sınır içinde); kosinüs 0.1877; korelasyon 0.1432.
Gömme boyutu (2 / 3)
Kavram: Haritanın iki mi üç boyutlu mu olacağıdır. Üç boyut, iki boyutta üst üste binen grupları ayırabilir; ama üç boyutlu grafiklerin okunması ve basılı ortamda sunulması daha zordur.
Gündelik örnek: İki boyutlu haritada 'akustik pop' ile 'hafif caz' kısmen iç içe görünüyorsa üç boyutlu harita bu iki tarzı farklı yüksekliklerde ayırabilir. Ekip haritayı döndürerek incelemek zorunda kalır, ama ayrım daha net görülür.
Ne işe yarar: Gömmenin boyut sayısı.
Sonuca etkisi: Koordinat sütunları ve KL.
Doğrulama verisinde: 3 boyutta raporlanan KL 0.7454 (Student-t serbestlik derecesi 1 ile tam KL); iyileştirme sırasındaki iç değer 0.434'tür (3 boyutta dof 2).
Güvenilirlik / süreklilik
Kavram: Güvenilirlik, haritada komşu görünen noktaların özgün uzayda da gerçekten komşu olup olmadığını; süreklilik ise özgün uzaydaki komşuların haritada da komşu kalıp kalmadığını ölçer. İkisi de 1'e yaklaştıkça harita yerel yapıyı daha sadık korur.
Gündelik örnek: Güvenilirlik yüksekse haritada yan yana duran iki şarkı gerçekten benzer şarkılardır ve öneri sistemi bu komşuluğa güvenebilir. Süreklilik düşükse gerçekte birbirine çok benzeyen bazı şarkılar haritada birbirinden uzağa düşmüştür.
Ne işe yarar: k = 5 komşulukta Venna & Kaski güvenilirlik ve süreklilik ölçütleri; özgün uzay seçilen metrikle ölçülür.
Sonuca etkisi: Gömmenin yerel komşulukları ne ölçüde koruduğunu raporlar; gömmeyi değiştirmez.
Doğrulama verisinde: Aynı gömmede iris 0.9922, digits 0.9928; iris kosinüs 0.99476.
KL ıraksaması (çıktı)
Kavram: Kullback-Leibler ıraksaması, özgün uzaydaki komşuluk olasılıkları ile haritadaki komşuluk olasılıkları arasındaki uyumsuzluğun ölçüsüdür. t-SNE bu değeri en küçük yapmaya çalışır; düşük değer yerel komşulukların iyi korunduğunu gösterir, ama farklı veri setleri ya da çok farklı perplexity değerleri arasında karşılaştırma için uygun değildir.
Gündelik örnek: KL değeri düşükse 'bu şarkının en yakın arkadaşları kimler?' sorusuna özgün 20 boyutlu veride ve haritada hemen hemen aynı yanıt verilir. Değer yüksekse harita bazı komşulukları bozmuştur ve ayarlar yeniden gözden geçirilmelidir.
Ne işe yarar: Raporlanan KL, son gömmeden tanımla hesaplanan tam KL(P||Q)'dur (van der Maaten & Hinton 2008).
Sonuca etkisi: Uyum ölçüsüdür; düşük değer yerel komşulukların iyi korunduğunu gösterir.
Doğrulama verisinde: Raporlanan değer tam KL'dir (öğrenme oranı 1000: 0.5803; 3 boyut: 0.7454; perplexity 100: 0.01442).
Gerçek veride örnek
Veri: Fisher 1936 iris, R datasets
Değişkenler: özellikler Sepal.Length, Sepal.Width, Petal.Length, Petal.Width (çanak ve taç yaprak ölçüleri)
- Soru: iris çiçeklerinin dört boyutlu ölçümleri iki boyutlu bir haritada, yerel komşuluklar korunarak nasıl görünür?
- Ayar: Değişkenler z-puanına çevrilir; perplexity 30 (her nokta için yaklaşık 30 etkin komşu), 1000 iterasyon, PCA başlangıcı (deterministik, tohumdan bağımsız).
- Sonuç: Tam KL ıraksaması 0.1503 ("çok iyi"); yüksek boyuttaki komşuluk olasılıkları gömmede büyük ölçüde korunur.
- Betimsel: Gömmede 2 belirgin küme ve 2 izole nokta (%1) görülür: setosa ayrı bir küme oluşturur, versicolor ve virginica birbirine bitişik ikinci kümededir.
- Sınırlılık: Eksen değerleri ve kümeler arası uzaklıklar yorumlanmaz; t-SNE yalnız yerel yapıyı korur. Sonuç perplexity seçimine duyarlıdır (ör. 5'te KL 0.354).
- APA: t-SNE (perplexity = 30, 1000 iterasyon, PCA başlangıcı, z-puanı) 150 gözlemi iki boyuta indirdi; KL ıraksaması = 0.15.
İlgili kavramlar
Kullback-Leibler (KL) ayrışımıGüvenilirlik (trustworthiness) ve süreklilik ölçüleriErken abartma (t-SNE)Perplexity (t-SNE etkin komşu sayısı)Öğrenme oranı (shrinkage)Rastgele başlangıçlar ve yerel en iyi çözümUzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)Yakınsama ve en fazla iterasyon
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.