İstatistik Sözlüğü → UMAP
UMAPanaliz
Çok değişkenli gözlemleri, her birinin yakın komşularını koruyacak biçimde iki ya da birkaç boyutlu bir haritaya yerleştiren, komşuluk grafiğine dayalı hızlı ve doğrusal olmayan boyut indirgeme yöntemi.
Kavram
UMAP (Uniform Manifold Approximation and Projection), t-SNE gibi yüksek boyutlu verideki yerel benzerlik yapısını düşük boyutlu bir haritada göstermeyi amaçlar. Temel fikri, verinin yüksek boyutlu uzayda gizli, daha düşük boyutlu ve eğri bir yüzey (manifold) üzerinde durduğu ve bu yüzeyin yapısının en yakın komşu ilişkilerinden yeniden kurulabileceğidir. Görselleştirmenin yanında, sonraki analizler için doğrusal olmayan bir boyut indirgeme aracı olarak da kullanılır.
Yöntem iki aşamada çalışır. Önce her gözlemin en yakın k komşusu bulunur ve bunlardan, kenar ağırlıkları komşuluğun ne kadar güçlü olduğunu gösteren bir komşuluk grafiği kurulur; uzaklıklar her noktanın kendi yerel yoğunluğuna göre ölçeklendiği için seyrek ve sık bölgeler dengeli biçimde temsil edilir. Ardından düşük boyutlu haritada benzer bir grafik tanımlanır ve iki grafik arasındaki uyumsuzluk (çapraz entropi) en küçük olana kadar noktaların yeri düzeltilir. Komşu sayısı yerel ayrıntı ile genel yapı arasındaki dengeyi, en küçük uzaklık (min_dist) ise haritada noktaların ne kadar sıkı paketleneceğini belirler.
UMAP genellikle t-SNE'den daha hızlıdır ve büyük ölçekli yapıyı biraz daha iyi korur; yine de eksenlerin anlamı yoktur, küme büyüklükleri ve kümeler arası uzaklıklar dikkatle, yalnız kaba bir ipucu olarak yorumlanmalıdır. Sonuç komşu sayısı, min_dist ve rastgele tohuma duyarlıdır; bir yapı farklı ayarlarla da görülüyorsa daha güvenilirdir. Haritada görülen gruplar kümeleme analizinin yerini tutmaz; değişkenlerin ölçeklenmesi ve uzaklık ölçüsü sonucu belirgin biçimde etkiler.
Ne zaman kullanılır?
- Çok sayıda değişkenle tanımlanmış, gözlem sayısı büyük olabilen verilerde (tek hücre ekspresyonu, spektral ölçümler, görüntü özellikleri, anket profilleri) yerel benzerlik yapısını hızla görselleştirmek ya da doğrusal olmayan bir boyut indirgeme yapmak istendiğinde.
- Bileşenlerin yorumlanması, uzaklıkların ve varyans oranlarının korunması gerekiyorsa PCA; yalnız yerel kümelerin ayrıntılı görselleştirilmesi isteniyor ve veri küçükse t-SNE de kullanılabilir.
- Elde bir uzaklık ya da benzerlik matrisi varsa ve tüm uzaklıkların haritada olabildiğince sadık korunması isteniyorsa çok boyutlu ölçekleme tercih edilir.
Gündelik bir örnek
Bir ziraat odası, bölgedeki 2000 tarladan alınmış toprak örneklerinin pH, organik madde, azot, fosfor, potasyum, kil oranı gibi 15 ölçümünü inceliyor. Bu 15 boyutlu veriyi tablo halinde okumak imkânsızdır. UMAP örnekleri iki boyutlu bir haritaya yerleştirir: birbirine benzeyen topraklar yan yana düşer ve harita üzerinde örneğin 'kireçli ve fosforca fakir', 'killi ve organik maddece zengin' gibi bölgeler belirir. Oda, gübreleme önerilerini haritada aynı bölgeye düşen tarlalar için birlikte hazırlayabilir.
MerQur'da parametreler
Özellikler
Kavram: Komşulukların ve haritanın hesaplanacağı değişkenlerdir; değişkenler standartlaştırıldığı için her biri uzaklığa benzer ağırlıkla katılır. Hangi değişkenlerin seçildiği, kimin kime 'komşu' sayılacağını doğrudan belirler.
Gündelik örnek: Toprak örnekleri kimyasal ölçümlerle tanımlanırsa harita toprak tiplerini yansıtır. Örnek alan teknisyenin adı gibi ilgisiz bir bilgi sayısal olarak eklenirse aynı tipteki topraklar haritada dağılmaya başlar.
Ne işe yarar: Analize giren sütunları seçer; değişkenler z puanına (n bölenli) çevrilir, sabit sütun 0 kalır.
Sonuca etkisi: Tüm uzaklık ve graf çıktıları.
Doğrulama verisinde: k-NN grafı iris'te 150, digits'te 1797 nokta için kurulur; iris'te yinelenen bir gözlem komşu sıralamasında bağ oluşturur.
Boyut sayısı
Kavram: Haritanın kaç boyutlu olacağıdır. Görselleştirme için genellikle iki boyut kullanılır; UMAP sonraki analizlere (ör. kümeleme) girdi hazırlamak için kullanılıyorsa birkaç boyut daha fazla bilgi korur. Komşuluk grafiği boyut sayısından etkilenmez, yalnız yerleşim değişir.
Gündelik örnek: Ziraat odası tarlaları bir sunumda göstermek için iki boyutlu harita ister. Toprak gruplarını daha sonra bir kümeleme analiziyle belirlemek isterse beş boyutlu bir gömme, iki boyutta üst üste binen grupları ayırmaya yardım edebilir.
Ne işe yarar: Gömme boyutunu belirler.
Sonuca etkisi: Graf ve a/b parametreleri değişmez; yalnız gömme ve güvenilirlik değişir.
Doğrulama verisinde: iris güvenilirliği 2 boyutta 0.9839, 3 boyutta 0.9884, 5 boyutta 0.9892 (5, özellik sayısı 4'ten büyük olduğundan program uyarı verir).
Komşu sayısı (n_neighbors)
Kavram: Her noktanın komşuluk grafiğinde kaç komşuyla bağlanacağıdır ve yerel ile genel yapı arasındaki dengeyi belirler. Küçük değer çok yerel ayrıntıya odaklanır ve veriyi küçük parçalara bölebilir; büyük değer daha geniş çevreleri hesaba katarak genel yapıyı öne çıkarır ama ince ayrımları silebilir.
Gündelik örnek: Komşu sayısı 5 ise her toprak örneği yalnız kendine en çok benzeyen birkaç örnekle bağlanır ve harita, aynı köyün tarlaları gibi küçük topluluklara bölünür. 50 ise her örnek daha geniş bir çevreyi görür ve 'kireçli topraklar' gibi büyük gruplar tek bir bölge olarak belirir.
Ne işe yarar: Yerel komşu sayısı k (noktanın kendisi dahil). rho_i en yakın komşu uzaklığıdır; sigma_i, toplam exp(-(d - rho)/sigma) = log2(k) koşulundan bulunur. Düşük değer yerel ayrıntıyı, yüksek değer küresel yapıyı öne çıkarır.
Sonuca etkisi: Graf, kenar sayısı ve güvenilirlik.
Doğrulama verisinde: iris: k = 5 için 794 kenar, güvenilirlik 0.9843; 15 için 2678 kenar, 0.9839; 50 için 8666 kenar, 0.9800.
Min mesafe (min_dist)
Kavram: Haritada birbirine yakın noktaların en az ne kadar aralıklı yerleşebileceğini belirler. Küçük değer benzer noktaları sıkı yığınlar halinde toplar ve kümeleri belirginleştirir; büyük değer noktaları daha eşit dağıtır ve genel biçimi daha iyi gösterir. Komşuluk grafiğini değil, yalnız yerleşimi etkiler.
Gündelik örnek: min_dist küçükse birbirine çok benzeyen toprak örnekleri haritada neredeyse aynı noktaya yığılır ve gruplar keskin adacıklar gibi görünür. Büyükse örnekler daha geniş bir alana yayılır ve bir gruptan diğerine geçişler daha kolay izlenir.
Ne işe yarar: Gömmede yakın noktalar arasındaki en küçük uzaklığı belirler; a ve b eğri parametrelerini üretir. Düşük değer sıkı, yüksek değer dağınık kümeler verir.
Sonuca etkisi: a, b ve gömme; graf değişmez.
Doğrulama verisinde: 0.0 için a 1.932808, b 0.790495; 0.1 için 1.576943 ve 0.895061; 1.0 için 0.114976 ve 1.929237. Güvenilirlik 0.981-0.984.
Uzaklık metriği (Öklid, Manhattan, Kosinüs, Pearson korelasyonu, Chebyshev)
Kavram: Özgün uzayda komşuların belirlenmesinde kullanılan uzaklığı tanımlar. Öklid ve Manhattan değerlerin mutlak farklarına, kosinüs ve korelasyon uzaklıkları ise değerlerin büyüklüğünden çok profilin biçimine bakar; spektral ve oransal (bileşimsel) verilerde ikinci grup sık tercih edilir.
Gündelik örnek: Toprak örneklerinin yansıma spektrumları ölçülmüşse iki örneğin genel parlaklığı farklı olsa bile spektrum eğrilerinin biçimi benzer olabilir. Korelasyon uzaklığı bu iki örneği komşu sayar, Öklid uzaklığı ise parlaklık farkı nedeniyle uzak sayabilir.
Ne işe yarar: Girdi uzayında (tam k-NN ile) kullanılan uzaklığı belirler; spektral ve kompozisyonel veride kosinüs veya korelasyon sık kullanılır.
Sonuca etkisi: k-NN, graf ve güvenilirlik.
Doğrulama verisinde: Manhattan, kosinüs ve korelasyon metrikleriyle graf kurulur. Chebyshev'de 28 noktada max|.| eşitliği (bağ) vardır. Seçilen metrikle hesaplanan kosinüs güvenilirliği 0.99074'tür.
Rastgele tohum
Kavram: Haritanın yerleştirilmesindeki rastgele adımları sabitleyerek aynı ayarlarla aynı haritanın elde edilmesini sağlar. Komşuluk grafiği tohumdan etkilenmez; farklı tohumlar aynı yapıyı biraz farklı yerleşimlerle gösterebilir.
Gündelik örnek: Oda haritayı ay sonunda yeniden ürettiğinde tarlaların aynı yerlerde görünmesini ister; aynı tohum bunu sağlar. Farklı tohumlarla da aynı toprak grupları görülüyorsa yapı tesadüfi değildir.
Ne işe yarar: Rastgele algoritma tohumunu belirler (umap-learn random_state); aynı tohum aynı sonucu verir.
Sonuca etkisi: Gömme koordinatları; graf değişmez.
Doğrulama verisinde: Aynı tohumla iki koşu arasındaki en büyük fark 0'dır (23 koşunun tümünde); tohum 0 ve 123 farklı gömme üretir.
Gözetimli hedef (y)
Kavram: Gözetimli UMAP, bilinen bir kategorik hedefi de komşuluk grafiğine katarak aynı sınıftaki gözlemlerin haritada bir arada toplanmasını teşvik eder. Bu, sınıfları ayırt eden yapıyı vurgular; ancak harita artık yalnız ölçümleri değil hedef bilgisini de yansıttığı için sınıfların 'kendiliğinden' ayrıştığının kanıtı olarak kullanılamaz.
Gündelik örnek: Oda, uzmanların daha önce belirlediği toprak sınıflarını hedef olarak verirse harita bu sınıfları daha net ayrılmış gösterir ve yeni örneklerin hangi sınıfa yakın düştüğünü görmek kolaylaşır. Ama sınıfların kimyasal ölçümlerle gerçekten ayrışıp ayrışmadığı sorusu gözetimsiz haritayla yanıtlanmalıdır.
Ne işe yarar: Kategorik hedefle gözetimli UMAP yapar (hedefle bulanık graf kesişimi, target_weight 0.5). Listede yalnız kategorik sütunlar ve az düzeyli tamsayı kodlu faktörler yer alır; hedefi boş satırlar dışlanır.
Sonuca etkisi: Graf ve gömme.
Doğrulama verisinde: iris Species: 5-NN doğruluğu 1.00. digits rakam hedefi: doğruluk 0.9955.
Eksik veri (satırı çıkar, ortalama ile doldur, medyan ile doldur)
Kavram: Eksik değeri olan satırların analizden çıkarılmasını ya da eksik değerin sütun ortalaması veya medyanıyla doldurulmasını sağlar. Doldurulan değerler gözlemi yapay olarak ortalamaya yaklaştırabilir ve haritada gerçekte ait olmadığı bir ara bölgeye düşürebilir.
Gündelik örnek: Bazı tarlaların potasyum ölçümü yapılmamışsa bu tarlalar haritadan çıkarılabilir. Ortalamayla doldurulursa bu tarlalar haritada iki toprak grubu arasına düşebilir ve yanlış bir gübreleme önerisi alabilir.
Ne işe yarar: Eksik değerleri listwise siler ya da sütun ortalaması/medyanı ile doldurur; düşen satır sayısı raporlanır.
Sonuca etkisi: Analize giren gözlem sayısı, k-NN ve graf.
Doğrulama verisinde: airquality'de satırı çıkarma n = 111, ortalama ve medyan ile doldurma n = 153.
Güvenilirlik / süreklilik
Kavram: Güvenilirlik, haritada komşu görünen noktaların özgün uzayda da gerçekten komşu olup olmadığını; süreklilik ise özgün uzaydaki komşuların haritada da komşu kalıp kalmadığını ölçer. İkisi de 1'e yaklaştıkça harita yerel yapıyı daha sadık korur.
Gündelik örnek: Güvenilirlik 0,98 ise haritada yan yana duran iki tarlanın toprağı gerçekten benzerdir ve oda bu komşuluğa dayanarak ortak öneri verebilir. Süreklilik düşükse birbirine çok benzeyen bazı topraklar haritada ayrı bölgelere düşmüştür.
Ne işe yarar: Yerel komşuluk koruma ölçülerini verir (k = 5; Venna ve Kaski, 2001): güvenilirlik, gömmedeki komşuların özgün uzayda da komşu olma oranıdır; süreklilik bunun tersidir.
Sonuca etkisi: Yalnız raporlanan kalite ölçüleri.
Doğrulama verisinde: iris güvenilirlik 0.98390, süreklilik 0.98705; digits güvenilirlik 0.97980.
Gerçek veride örnek
Veri: Fisher 1936 iris, R datasets
Değişkenler: özellikler Sepal.Length, Sepal.Width, Petal.Length, Petal.Width (çanak ve taç yaprak ölçüleri)
- Soru: iris çiçeklerinin dört ölçümü, hem yerel hem de kısmen küresel yapı korunarak iki boyutlu bir haritada nasıl görünür?
- Ayar: Değişkenler z-puanına çevrilir; 15 komşu (yerel ve küresel yapı arasında denge), min_dist = 0.1 (sıkı kümeler), 2 boyut.
- Sonuç: Gömme 150 gözlemi iki boyuta yerleştirir; MerQur'un otomatik küme sezgisi (DBSCAN ε ≈ 0.39) 10 küçük küme ve 20 izole nokta (%13) bulur. Bu sezgi gömmedeki yerel toplulukları gösterir, tür sayısını değil.
- Komşuluk koruma: Aynı gömmede güvenilirlik (k = 5) 0.984; gömmedeki yakın komşuların büyük çoğunluğu özgün uzayda da komşudur.
- Betimsel: Grafikte setosa ayrı bir ada olarak görülür; versicolor ve virginica bitişik bir bölgede kısmen iç içedir.
- Sınırlılık: Eksen değerleri yorumlanmaz; kümeler arası uzaklıklar t-SNE'den daha anlamlı olsa da yaklaşık bilgidir. Sonuç n_neighbors ve min_dist seçimine ve tohuma duyarlıdır.
- APA: UMAP (n_neighbors = 15, min_dist = 0.1, Öklid, z-puanı) 150 gözlemi iki boyuta indirdi; güvenilirlik (k = 5) = .98.
İlgili kavramlar
Rastgele tohum (seed)Güvenilirlik (trustworthiness) ve süreklilik ölçüleriEn yakın komşu sayısı (k) ve komşuluk grafiğiBasit atama (ortalama, medyan, kNN ile doldurma)Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)Pearson korelasyon katsayısız-puanı (standartlaştırma)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.