MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Hiyerarşik Kümeleme

Hiyerarşik Kümelemeanaliz

Gözlemleri en benzer olanlardan başlayarak adım adım birleştirip bir ağaç (dendrogram) oluşturan ve bu ağacı istenen düzeyde keserek kümeler elde eden keşifsel gruplama yöntemi.

Kavram

Hiyerarşik kümeleme, küme sayısının önceden bilinmediği durumlarda gözlemler arasındaki benzerlik yapısını bütünüyle göstermeyi amaçlar. Tek bir bölüntü yerine iç içe geçmiş bir küme dizisi üretir: en altta her gözlem kendi başına bir kümedir, en üstte tüm gözlemler tek bir kümede toplanır. Bu yapı, soy ağacına benzeyen bir dendrogramla çizilir ve hangi gözlemlerin birbirine ne kadar yakın olduğunu tek bakışta gösterir.

Birleştirici (aşağıdan yukarı) yaklaşımda önce tüm gözlem çiftleri arasındaki uzaklıklar hesaplanır. Her adımda birbirine en yakın iki küme birleştirilir ve yeni kümenin diğerlerine uzaklığı bağlantı yöntemine göre güncellenir: tek bağlantı en yakın, tam bağlantı en uzak üye çiftine, ortalama bağlantı tüm çiftlerin ortalamasına bakar; Ward yöntemi ise küme içi kareler toplamını en az artıran birleşmeyi seçer. Dendrogramdaki birleşme yüksekliği, birleşen kümelerin ne kadar farklı olduğunu gösterir; yükseklikte ani bir sıçrama, birbirinden çok farklı kümelerin birleştirildiğine ve ağacın o düzeyin altından kesilmesi gerektiğine işaret eder.

Bir birleşme sonradan geri alınmaz; erken bir adımda yapılan kötü bir birleşme tüm ağacı etkiler. Sonuç, uzaklık ölçüsüne, bağlantı yöntemine ve değişkenlerin ölçeklenmesine çok bağlıdır; tek bağlantı uzun zincirler, Ward ise dengeli ve yuvarlak kümeler üretmeye yatkındır. Tüm uzaklık matrisi saklandığı için çok büyük veri setlerinde ağır çalışır. Kofenetik korelasyon, ağacın özgün uzaklıkları ne kadar iyi yansıttığını gösterir; ağacın nereden kesileceği de alan bilgisi ve küme sayısı ölçütleriyle birlikte değerlendirilmelidir.

Ne zaman kullanılır?

  • Küme sayısı hakkında önceden bir fikir yokken, gözlemler (ya da değişkenler) arasındaki iç içe benzerlik yapısını görmek istendiğinde, özellikle gözlem sayısı orta büyüklükteyse (birkaç bin altı).
  • Küme sayısı kabaca biliniyorsa ve çok sayıda gözlem varsa K-ortalamalar daha hızlıdır; Ward ile bulunan kümeler K-ortalamaların başlangıç noktası olarak da kullanılabilir.
  • Kümeler küresel değilse ya da aykırı gözlemler gürültü olarak ayrılmak isteniyorsa DBSCAN/HDBSCAN; üyelik olasılıkları ve model karşılaştırması isteniyorsa gizil profil analizi tercih edilir.

Gündelik bir örnek

Bir tarım araştırmacısı, köylerden toplanmış 30 yerel domates çeşidini meyve ağırlığı, şeker oranı, asitlik ve olgunlaşma süresine göre gruplamak istiyor. Hiyerarşik kümeleme önce birbirine en çok benzeyen iki çeşidi birleştirir, sonra bir sonraki en benzer çifti, ve bu böyle sürer; sonunda bütün çeşitler bir soy ağacına benzeyen dendrogramda yer alır. Araştırmacı ağaca baktığında çeşitlerin önce 'iri ve tatlı sofralıklar' ile 'küçük ve ekşi salçalıklar' olarak iki büyük kola ayrıldığını, sofralıkların da kendi içinde erkenci ve geççi olarak ikiye bölündüğünü görebilir.

MerQur'da parametreler

Küme sayısı (K)

Kavram: Hiyerarşik kümeleme tüm birleşme sırasını bir ağaç olarak üretir; K, bu ağacın hangi yükseklikten kesilerek kaç kümeye ayrılacağını belirler. K'yı değiştirmek ağacı değil, yalnız kesim düzeyini değiştirir.

Gündelik örnek: Domates ağacı bir kez kurulduktan sonra araştırmacı onu iki kümeye (sofralık ve salçalık) ya da dört kümeye (erkenci ve geççi sofralıklar ile iki tür salçalık) kesebilir. Hangi çeşidin hangi çeşitle daha önce birleştiği her iki durumda da aynıdır.

Ne işe yarar: Ağacın kaç kümeye kesileceği (ağacın kendisini değiştirmez).

Sonuca etkisi: Yalnız kesim ve ona bağlı küme boyutları, silhouette ve CH değişir; ağaç ve birleşme katsayıları değişmez.

Doğrulama verisinde: (USArrests): K = 2, 3, 6 için küme boyutları 19/31, 12/19/19, 4/4/7/8/12/15; silhouette 0.4048, 0.3104, 0.2617.

→ Küme sayısının seçimi

Bağlantı yöntemi (Ward / Tam / Ortalama / Tek / Merkez / Medyan / McQuitty)

Kavram: Bağlantı yöntemi, birden çok gözlem içeren iki kümenin birbirine 'uzaklığının' nasıl tanımlanacağıdır. Tek bağlantı en yakın iki üyeye, tam bağlantı en uzak iki üyeye, ortalama bağlantı tüm üye çiftlerinin ortalamasına bakar; Ward yöntemi, birleşmenin küme içi kareler toplamını ne kadar artırdığını ölçer.

Gündelik örnek: İki domates grubunu birleştirip birleştirmemeye karar verirken tek bağlantı 'iki gruptaki en benzer iki çeşit ne kadar yakın?' diye sorar ve gruplar arasında tek bir benzer çift bile varsa onları birleştirir; bu yüzden zincir gibi uzayan kümeler oluşabilir. Ward ise 'birleşince grubun içi ne kadar karışır?' diye sorar ve benzer büyüklükte, derli toplu gruplar üretir.

Ne işe yarar: İki kümenin uzaklığı: Ward (birleşmede küme-içi KT artışı en küçük; yükseklik √(2·ΔKT) ölçeğinde), tam (en uzak çift), ortalama (UPGMA), tek (en yakın çift), merkez, medyan, McQuitty (WPGMA).

Sonuca etkisi: Ağacın biçimi, birleşme yükseklikleri ve K kesimi değişir; tek bağlantı zincirleşmeye, Ward dengeli kümelere yatkındır.

Doğrulama verisinde: (USArrests z, K = 3): Ward 12/19/19; tam 8/11/31; ortalama 1/19/30; tek 1/1/48; merkez 1/19/30; medyan 1/7/42; McQuitty 7/13/30. Varsayılan ayarda son birleşme katsayısı 13.5162'dir.

→ Bağlantı yöntemi (Ward, tam, ortalama, tek)

Eksik Veri

Kavram: Eksik ölçümü olan gözlemlerin analizden çıkarılmasını ya da eksik değerin ortalama, medyan veya en benzer gözlemlerden tahminle doldurulmasını sağlar. Hiyerarşik kümelemede her gözlem ağaçta bir dal olduğundan bu seçim ağacın yapısını da etkiler.

Gündelik örnek: İki çeşidin olgunlaşma süresi kaydedilmemişse silme seçeneğiyle bu çeşitler ağaçta hiç yer almaz. KNN ile doldurmada eksik süre, diğer ölçümleri en çok benzeyen beş çeşidin ortalamasından tahmin edilir ve çeşitler ağaçta kalır.

Ne işe yarar: Eksik değerli satırları atar ya da ham ölçekte ortalama, medyan veya 5 en yakın komşuyla doldurur; dönüşüm doldurmadan sonra yapılır.

Sonuca etkisi: n ve dolayısıyla ağaç ve tüm sonuçlar değişir.

Doğrulama verisinde: (airquality, Ward z): n = 111, 153, 153, 153; K = 3 boyutları 23/38/50, 26/33/94, 25/56/72, 35/53/65.

→ Basit atama (ortalama, medyan, kNN ile doldurma)

Uzaklık ölçüsü (Öklid / Kare Öklid / Manhattan / Chebyshev / Pearson korelasyonu (1-r) / Kosinüs (1-cos) / Jaccard / Gower)

Kavram: Uzaklık ölçüsü iki gözlemin ne kadar farklı sayılacağını tanımlar: Öklid düz çizgi uzaklığı, Manhattan mutlak farkların toplamı, Chebyshev en büyük tek farktır; korelasyon ve kosinüs uzaklıkları değerlerin büyüklüğünden çok profilin biçimine bakar, Jaccard ikili, Gower ise karışık türden değişkenler için uygundur.

Gündelik örnek: Öklid uzaklığında iri ve tatlı bir çeşit ile küçük ama aynı oranda tatlı bir çeşit birbirinden uzak düşer. Korelasyon uzaklığı ise iki çeşidin özelliklerinin aynı 'örüntüyü' izleyip izlemediğine bakar; bu iki çeşit oran olarak benzer bir profile sahipse onları yakın sayabilir.

Ne işe yarar: Gözlemler arası uzaklık. Öklid dışı ölçülerde ortalama, tam, tek ve McQuitty bağlantı kullanılabilir.

Sonuca etkisi: Uzaklık matrisi ve dolayısıyla ağaç, yükseklikler ve kümeler değişir.

Doğrulama verisinde: (USArrests z, ortalama bağlantı, K = 3): Manhattan 7/12/31; Chebyshev 1/18/31; 1 - r 9/20/21; 1 - kosinüs 1/23/26; Gower 7/12/31. Kare Öklid ve ortalama bağlantıda kök ortalama kare (RMS) uzaklık birleşme katsayısının kareköküdür; Poverty verisinde normalleştirilmiş RMS uzaklığın böleni 20.25399'dur. Jaccard 0/1 dışı iki değerli kodu 0/1'e çevirir ve not düşer.

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Proksimite matrisini yazdır (n <= 100)

Kavram: Proksimite matrisi, her gözlem çifti arasındaki uzaklığın yer aldığı tablodur ve ağacın üzerine kurulduğu ham bilgidir. Bu tabloya bakmak, belirli gözlem çiftlerinin birbirine ne kadar yakın olduğunu doğrudan görmeyi sağlar.

Gündelik örnek: Araştırmacı, aynı köyden toplanmış iki çeşidin gerçekten birbirine çok benzeyip benzemediğini merak ediyorsa matriste bu ikisinin satırına ve sütununa bakar; uzaklık çok küçükse bu iki 'çeşit' aslında aynı çeşidin iki ayrı adı olabilir.

Ne işe yarar: Gözlemler arası uzaklık matrisini sonuçlara yazar (en çok 100 gözlem).

Sonuca etkisi: Sonuçlar değişmez; uzaklık tablosu eklenir.

Doğrulama verisinde: USArrests için 50 x 50 matrisin 1225 alt üçgen hücresi yazdırılır (z, n - 1 paydalı).

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Küme üyeliğini kaydet

Kavram: Ağacın seçilen K düzeyinde kesilmesiyle her gözleme verilen küme numarasını veri setine ekler. Böylece kümeler sonraki analizlerde (ör. kümeler arası karşılaştırma) bir grup değişkeni olarak kullanılabilir.

Gündelik örnek: Her domates çeşidinin yanına 'küme 1: sofralık' ya da 'küme 2: salçalık' gibi bir numara yazılır. Araştırmacı daha sonra bu kümelerin hastalık direncinde farklılaşıp farklılaşmadığını ayrı bir analizle inceleyebilir.

Ne işe yarar: K kesimi küme numaraları (0 tabanlı, ilk görünüş sırası) veri setine eklenir.

Sonuca etkisi: Sonuçlar değişmez; veri setine küme sütunu eklenir.

Doğrulama verisinde: USArrests (z, Ward, K = 3): her satırın küme numarası veri setine eklenir; küme boyutları 12/19/19.

Değişken dönüşümü

Kavram: Değişkenler farklı birimlerde ya da çok farklı aralıklarda ölçüldüyse büyük aralıklı değişken uzaklıklara egemen olur. Dönüşüm (ör. z-puanı) değişkenleri ortak bir ölçeğe getirir ve her birinin ağaca benzer ağırlıkla katılmasını sağlar.

Gündelik örnek: Meyve ağırlığı 20 ile 400 gram, asitlik ise 3,9 ile 4,6 pH arasında değişiyorsa dönüşümsüz analizde ağaç neredeyse yalnız ağırlığa göre kurulur. z-puanından sonra asitlikteki farklar da çeşitlerin gruplanmasında söz sahibi olur.

Ne işe yarar: Değişkenleri ortak ölçeğe getirir: z-puanı (n-1), yok, aralık 0-1, en büyük = 1, SS = 1.

Sonuca etkisi: Uzaklıklar ve ağaç değişir; dönüşümsüz çalıştırmada büyük ölçekli değişken (Assault) baskın olur.

Doğrulama verisinde: (Ward): yok 700.8786 (14/16/20); aralık 3.6297 (12/18/20); en büyük 3.2338 (13/17/20); sd 13.5162 (12/19/19).

→ z-puanı (standartlaştırma)

K seçim ölçütleri tablosu

Kavram: Kofenetik korelasyon, gözlemler arasındaki özgün uzaklıklarla dendrogramda birleştikleri yükseklikler arasındaki korelasyondur; 1'e yakınsa ağaç veriyi iyi özetler. R², yarı-kısmi R², pseudo F ve pseudo t² ise farklı küme sayılarında kümelerin ne kadar ayrıştığını ve bir birleşmenin ne kadar bilgi kaybettirdiğini gösterir.

Gündelik örnek: Kofenetik korelasyon 0,85 çıkarsa ağaçta yakın görünen çeşitler gerçekten de ölçümlerde birbirine yakındır. Dört kümeden üç kümeye geçerken yarı-kısmi R² birden büyüyorsa birbirinden çok farklı iki grubun zorla birleştirildiği anlaşılır ve dört küme daha uygun görünür.

Ne işe yarar: Kofenetik korelasyon ve küme sayısı ölçütleri (yarı-kısmi R², R², pseudo F, pseudo t²).

Sonuca etkisi: Ağaç değişmez; küme sayısı seçimine yardımcı tablo eklenir.

Doğrulama verisinde: USArrests Ward kofenetik r 0.6975; k = 3: R² 0.5979, pseudo F 34.937, pseudo t² 14.555. Poverty verisinde RSQ, SPRSQ, pseudo F ve pseudo t² ortalama, tam ve tek bağlantıda raporlanır. iris Ward'da k = 5-10 arasında eşit uzaklıklı birleşmelerin (bağların) çözüm sırası ağacı etkiler.

→ Küme sayısının seçimi

Grafik, Dendrogram kesimi, Üyelik aralığı (k = 2..), Değişken kümeleme (Ek çıktılar)

Kavram: Dendrogram birleşme sırasını ve yüksekliklerini, PCA düzlemi kümeleri iki boyutta, silhouette grafiği her gözlemin kümesine ne kadar iyi oturduğunu gösterir. Üyelik aralığı birkaç K değeri için üyelikleri birlikte verir; değişken kümeleme ise gözlemleri değil, birbirleriyle yüksek korelasyonlu değişkenleri gruplar.

Gündelik örnek: Araştırmacı üyelik aralığıyla bir çeşidin 2, 3 ve 4 kümelik kesimlerde hangi gruplarda yer aldığını yan yana görür. Değişken kümeleme de 'şeker oranı ile olgunlaşma süresi birlikte değişiyor, asitlik ayrı bir boyut' gibi bir sonuç verebilir.

Ne işe yarar: Dendrogram, PCA düzlemi ya da gözlem silhouette grafiği; üyelik aralığı k = 2..k_max; değişkenlerin 1 - r uzaklığıyla kümelenmesi (ortalama bağlantı).

Sonuca etkisi: Ağaç ve kesim değişmez; grafikler, üyelik aralığı ve değişken ağacı ek çıktı olarak verilir.

Doğrulama verisinde: Üyelik k = 2..5: 19/31, 12/19/19, 7/12/12/19, 4/7/12/12/15. Değişken kümeleme USArrests (1 - r uzaklığı, ortalama bağlantı): yükseklikler 0.19813, 0.38559, 0.75340; kümeler {Murder, Assault}, {UrbanPop}, {Rape}. Grafik türleri yalnız çizimi değiştirir.

→ Dendrogram ve kofenetik korelasyon

Gerçek veride örnek

Veri: McNeil 1977, R datasets USArrests (50 eyalet)

Değişkenler: özellikler Murder, Assault, UrbanPop, Rape (50 eyalette suç oranları ve kentli nüfus)

  • Soru: 50 eyalet, z-puanına çevrilmiş dört suç/kentleşme göstergesine göre hiyerarşik olarak nasıl gruplanır ve üç kümelik kesim ne verir?
  • Ayar: Öklid uzaklığı, Ward bağlantısı (her adımda küme-içi KT artışı en küçük olan iki küme birleşir), K = 3 kesimi.
  • Sonuç: Son üç birleşme katsayısı 6.4619, 7.1882 ve 13.5162; son adımdaki büyük sıçrama (7.19'dan 13.52'ye) iki ya da üç kümeli bir yapıya işaret eder. K = 3 kesimi 19, 19 ve 12 eyaletlik kümeler verir.
  • Küme kalitesi: Ortalama silhouette 0.3104 ve Calinski-Harabasz 34.9365; orta düzeyde ayrışmış bir kümelenme.
  • Betimsel: 19 eyaletlik bir küme yüksek suç (Murder ort. 12.33, Assault 259.3), diğer 19 eyalet orta suç ve yüksek kentleşme, 12 eyalet düşük suç ve düşük kentleşme profilindedir; k-ortalamalar çözümüne çok yakındır.
  • Sınırlılık: Ward ağacı bir kez verilen birleşmeyi geri almaz; birleşme katsayısı √(2·ΔKT) ölçeğinde raporlanır, bu yüzden birikimli KT ya da yarı-kısmi R² ile yorumlarken ölçek dönüşümü gözetilmelidir.
  • APA: z-puanlarıyla Ward hiyerarşik kümelemesi (Öklid) üç kümede kesildi (n = 19, 19, 12); ortalama silhouette = .31, Calinski-Harabasz = 34.94.

İlgili kavramlar

Bağlantı yöntemi (Ward, tam, ortalama, tek)Dendrogram ve kofenetik korelasyonKüme sayısının seçimiUzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)Siluet katsayısıKısmi ve yarı kısmi korelasyonz-puanı (standartlaştırma)Basit atama (ortalama, medyan, kNN ile doldurma)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.