İstatistik Sözlüğü → K-Ortalamalar Kümeleme
K-Ortalamalar Kümelemeanaliz
Gözlemleri, her biri kendi kümesinin merkezine olabildiğince yakın olacak biçimde önceden belirlenen sayıda (K) gruba ayıran keşifsel kümeleme yöntemi.
Kavram
Kümeleme, grupları önceden bilinmeyen gözlemleri benzerliklerine göre doğal gruplara ayırmayı amaçlar; ortada tahmin edilecek bir sonuç değişkeni yoktur. K-ortalamalar bu iş için en yaygın yöntemdir: 'Bu gözlemler, kendi içinde birbirine benzeyen ve birbirinden ayrışan K gruba nasıl bölünür?' sorusunu yanıtlar ve bölge, müşteri, tür ya da profil gruplamalarında kullanılır.
Algoritma K merkez seçerek başlar ve iki adımı yineler: her gözlem en yakın merkeze atanır, ardından her merkez kendi kümesindeki gözlemlerin ortalamasına taşınır. Atamalar değişmeyince durur. Bu süreç, küme içi kareler toplamını, yani her gözlemin kendi merkezine olan uzaklığının karelerinin toplamını küçültür: KT_içi = Σ_k Σ_{i∈k} ‖x_i − merkez_k‖². Sonuç başlangıç merkezlerine bağlı bir yerel en iyi çözüm olabileceğinden algoritma birçok başlangıçla çalıştırılır ve en küçük KT'li çözüm seçilir. K-medoids (PAM) merkez olarak ortalama yerine kümedeki gerçek bir gözlemi kullanır ve aykırı değerlerden daha az etkilenir.
Yöntem kümelerin kabaca küresel ve benzer büyüklükte olduğunu örtük olarak varsayar; uzun, kıvrımlı ya da çok farklı yoğunluktaki kümeleri iyi ayıramaz. Uzaklıklar ölçümlere dayandığından değişkenler genellikle standartlaştırılmalıdır. K-ortalamalar veride gerçek bir grup yapısı olmasa bile her zaman K küme üretir; bu nedenle K'nın seçimi silhouette, gap istatistiği gibi ölçütlerle desteklenmeli ve kümelerin anlamı alan bilgisiyle sınanmalıdır. Kümeler üzerinde yapılan ANOVA betimseldir; kümeler aynı değişkenler üzerinden oluşturulduğu için p-değerleri gerçek bir sınama olarak yorumlanmamalıdır.
Ne zaman kullanılır?
- Sürekli değişkenlerle ölçülmüş çok sayıda gözlemi, sayısı kabaca tahmin edilebilen benzer profilli gruplara ayırmak istendiğinde (müşteri segmentleri, bölge tipleri, öğrenci profilleri).
- Küme sayısı hakkında hiçbir fikir yoksa ve gruplar arası iç içe yapı görülmek isteniyorsa hiyerarşik kümeleme; kümeler küresel değilse ya da aykırı değerler gürültü olarak ayrılmak isteniyorsa DBSCAN/HDBSCAN tercih edilir.
- Değişkenler kategorikse gizil sınıf analizi, sürekli göstergelerde olasılığa dayalı üyelik ve model karşılaştırması isteniyorsa gizil profil analizi daha uygundur.
Gündelik bir örnek
Bir spor kulübü, 120 genç sporcuyu 30 metre koşu süresi, dikey sıçrama yüksekliği ve kuvvet testi sonuçlarına göre üç antrenman grubuna ayırmak istiyor. K-ortalamalar önce üç rastgele 'örnek sporcu' seçer, herkesi kendine en çok benzeyen örneğe atar, sonra her grubun ortalama profilini yeni örnek olarak alır ve bunu gruplar değişmeyene kadar yineler. Sonunda örneğin 'hızlı ama kuvveti düşük', 'güçlü ama yavaş' ve 'her alanda ortalama' gibi üç grup ortaya çıkar; antrenörler her gruba farklı bir program uygulayabilir.
MerQur'da parametreler
Küme sayısı (K)
Kavram: K, verinin bölüneceği küme sayısıdır ve yöntem tarafından değil kullanıcı tarafından verilir. K arttıkça küme içi kareler toplamı her zaman azalır; bu yüzden en küçük KT'yi veren K değil, anlamlı ve ayrışmış kümeler veren K aranır.
Gündelik örnek: Kulüp 120 sporcuyu 120 gruba ayırsa herkes kendi grubunun tam merkezinde olurdu ama bu hiçbir işe yaramazdı. Üç antrenörü olan kulüp için K = 3 pratik bir başlangıçtır; veriler dört belirgin profil gösteriyorsa bu da göz önüne alınmalıdır.
Ne işe yarar: Verinin bölüneceği küme sayısı (2-20).
Sonuca etkisi: Tüm çıktılar (merkezler, KT, silhouette, CH, ANOVA).
Doğrulama verisinde: (USArrests, z): MerQur varsayılan ayarla K = 3'te küresel çözümü bulur (KT 78.3233); K = 10'da 26.2617 ve K = 20'de 11.6283 ile yerel optimumda kalabilir (başlangıç sayısı artırılmalıdır). iris (ham) K = 2 ve 3'te küme boyutları 53/97 ve 50/38/62; pseudo F 513.92 ve 561.63.
Başlangıç (k-means++ / Rastgele)
Kavram: Algoritmanın ilk merkezleri nasıl seçeceğidir. k-means++ ilk merkezi rastgele, sonrakileri mevcut merkezlerden uzak noktaları daha olası kılarak seçer; böylece merkezler veriye yayılır ve kötü bir yerel çözüme takılma olasılığı azalır.
Gündelik örnek: Üç örnek sporcunun üçü de rastgele 'hızlı koşucular' arasından seçilirse ilk gruplar dengesiz başlar. k-means++ ikinci ve üçüncü örneği birinciden farklı profillerden seçmeye yöneldiği için başlangıç daha mantıklı olur.
Ne işe yarar: İlk merkezlerin seçimi: k-means++ (Arthur & Vassilvitskii 2007) ya da K rastgele gözlem.
Sonuca etkisi: Yalnız ulaşılan yerel optimumu değiştirebilir.
Doğrulama verisinde: USArrests K = 3'te ikisi de aynı çözümü verir; iris ham K = 3'te ikisi de 7885.144 (küresel).
Eksik Veri (Sil / Ortalama / Medyan / KNN ile doldur)
Kavram: Eksik ölçümü olan gözlemlerin ya analizden çıkarılmasını ya da eksik değerin bir tahminle doldurulmasını sağlar. Satır silmek örneklemi küçültür; ortalama ya da medyanla doldurmak değişkenliği azaltır, en yakın komşularla doldurmak gözlemin diğer ölçümlerinden yararlanır.
Gündelik örnek: Sıçrama testine sakatlığı nedeniyle katılamayan 6 sporcu silinirse gruplar 114 kişiyle kurulur. KNN ile doldurmada bu sporcuların sıçrama değeri, koşu ve kuvvet sonuçları onlara en çok benzeyen 5 sporcunun ortalamasından tahmin edilir.
Ne işe yarar: Eksik değerli satırları atar ya da ham ölçekte sütun ortalaması, medyanı veya 5 en yakın komşunun ortalamasıyla (nan_euclidean) doldurur; dönüşüm doldurmadan sonra yapılır.
Sonuca etkisi: n ve dolayısıyla tüm sonuçlar.
Doğrulama verisinde: (airquality, 4 değişken, K = 3, z): n = 111, 153, 153, 153; KT 186.0882, 300.1246, 293.9528, 281.6196.
K seçim ölçütü (Elle / Ortalama silhouette en yüksek / Gap istatistiği)
Kavram: K'yı veriden seçmenin yollarıdır. Silhouette, her gözlemin kendi kümesine diğer en yakın kümeye göre ne kadar iyi oturduğunu (−1 ile 1 arası) ölçer; gap istatistiği ise küme içi dağınıklığı, hiçbir küme yapısı olmayan düzgün dağılımlı rastgele veride beklenen dağınıklıkla karşılaştırır.
Gündelik örnek: Kulüp K = 2, 3, 4… için sporcuların kendi gruplarına ne kadar iyi oturduğuna bakar. Ortalama silhouette en yüksek K = 3'te çıkıyorsa üç grup verinin yapısına en uygun bölüntüdür; gap istatistiği de 'bu gruplar rastgele bir sporcu kümesinden belirgin biçimde daha sıkı mı?' sorusunu yanıtlar.
Ne işe yarar: K'yı veriden seçer: K = 2..10'da en yüksek ortalama silhouette ya da gap istatistiği (düzgün dağılımlı boş dağılım, B = 50, Gap(k) >= Gap(k+1) - SE(k+1) olan en küçük k; Tibshirani ve ark. 2001).
Sonuca etkisi: Elle seçimde K formdan alınır; diğer ölçütlerde K veriden seçilir ve tüm sonuçlar seçilen K ile verilir.
Doğrulama verisinde: (USArrests): silhouette K = 2 (0.4085); gap K = 2 (Tibshirani ve ark. 2001 1-SE kuralı).
Rastgele tohum
Kavram: Rastgele başlangıç merkezlerinin seçimini sabitler; aynı tohumla analiz tekrarlandığında aynı sonuç elde edilir. Yeterli sayıda başlangıç kullanılıyorsa tohumun sonuca etkisi kaybolur.
Gündelik örnek: Antrenör analizi bir hafta sonra yeniden çalıştırdığında aynı sporcuların aynı gruplarda çıkmasını ister; aynı tohum bunu sağlar. Farklı tohumlarla da hep aynı gruplar çıkıyorsa çözüm sağlamdır.
Ne işe yarar: k-means++ ve rastgele başlangıçların tohumu.
Sonuca etkisi: Yalnız ulaşılan yerel optimumu değiştirebilir; yeterli başlangıç sayısıyla sonuç tohumdan bağımsızlaşır.
Doğrulama verisinde: USArrests K = 3, nstart 10: tohum 42 ve 7 için KT 78.4840 ve 78.3564 (iki ayrı yerel çözüm); varsayılan nstart 25 ile küresel çözüm (78.3233).
Küme üyeliğini kaydet
Kavram: Her gözlemin hangi kümeye atandığını ve kendi küme merkezine uzaklığını veri setine ekler. Merkeze uzaklığı çok büyük olan gözlemler, kümesine pek uymayan ya da aykırı gözlemlerdir.
Gündelik örnek: Kulüp listesine her sporcunun grubu yazılır. Grubunun merkezine çok uzak düşen bir sporcu, örneğin hem çok hızlı hem çok güçlü olan bir yetenek, hiçbir gruba tam uymadığı için ayrı bir programla ele alınabilir.
Ne işe yarar: Küme numarası ve gözlemin kendi merkezine Öklid uzaklığını veri setine ekler.
Sonuca etkisi: Sonuçlar değişmez; veri setine iki sütun eklenir.
Doğrulama verisinde: USArrests K = 3: her satırın küme numarası ve kendi küme merkezine uzaklığı veri setine eklenir.
Algoritma (K-means / K-medoids (PAM))
Kavram: K-ortalamalar küme merkezi olarak kümenin ortalamasını kullanır; K-medoids (PAM) ise kümedeki diğer gözlemlere toplam uzaklığı en küçük olan gerçek bir gözlemi (medoid) kullanır. Ortalama birkaç uç değerle kolayca kayarken medoid daha dayanıklıdır.
Gündelik örnek: Bir grupta olağanüstü güçlü tek bir sporcu varsa grup ortalaması onun yönüne çekilir. PAM ise grubu temsil etmek için grubun 'tipik' sporcusunu seçer; bu sporcu gerçekten var olan biri olduğundan antrenörlere örnek olarak da gösterilebilir.
Ne işe yarar: PAM (Kaufman & Rousseeuw 1990) merkez yerine gerçek gözlem (medoid) kullanır; aykırı değere daha dayanıklıdır.
Sonuca etkisi: Merkezler, bölüntü, KT ve kalite ölçütleri değişir; PAM aykırı değerlerden daha az etkilenir.
Doğrulama verisinde: USArrests K = 3 ve 4, ruspini K = 4: medoidler, amaç (ruspini ortalama uzaklık 11.4864), silhouette ve CH hesaplanır. PAM'de küme-içi KT medoide göre hesaplanır.
Değişken dönüşümü (z-puanı / Yok / Aralık 0-1 / En büyük = 1 / SS = 1)
Kavram: Uzaklıklar ölçümlerden hesaplandığı için değişkenler farklı birimlerdeyse büyük sayısal aralığa sahip olan uzaklığa egemen olur. z-puanı gibi dönüşümler her değişkeni ortak bir ölçeğe getirerek tümünün kümelemeye benzer ağırlıkla katılmasını sağlar.
Gündelik örnek: Koşu süresi 4 ile 6 saniye, kuvvet testi 40 ile 120 kilogram arasında değişiyorsa dönüştürülmemiş veride gruplar neredeyse yalnız kuvvete göre oluşur. z-puanından sonra 1 saniyelik hız farkı da 40 kilogramlık kuvvet farkı kadar hesaba katılabilir.
Ne işe yarar: Değişkenleri ortak ölçeğe getirir (z = (x - ort)/s, n-1).
Sonuca etkisi: Uzaklıklar ve dolayısıyla bölüntü değişir; dönüşümsüz çalıştırmada büyük ölçekli değişken (Assault) baskın olur.
Doğrulama verisinde: (USArrests K = 3): yok 47964.27 (Assault baskın); aralık 5.0109; en büyük 3.1434 (küresel 3.1385); sd = z (öteleme uzaklığı değiştirmez).
Başlangıç sayısı (nstart)
Kavram: Algoritmanın farklı başlangıç merkezleriyle kaç kez baştan çalıştırılacağıdır; aralarından küme içi kareler toplamı en küçük olan çözüm raporlanır. Başlangıç sayısı arttıkça kötü bir yerel çözüme takılma olasılığı azalır.
Gündelik örnek: Kulüp gruplamayı 25 kez farklı örnek sporcularla başlatır ve sporcuların kendi grup merkezlerine en yakın olduğu çözümü seçer. Bu en iyi çözüm 25 denemenin yarısında tekrar tekrar çıkıyorsa sonuç güvenilirdir.
Ne işe yarar: Farklı başlangıç merkezleriyle yinelenen çözüm sayısı; en küçük küme içi KT'li çözüm raporlanır.
Sonuca etkisi: Az başlangıç yerel optimumda kalma riskini artırır; çok başlangıç küresel çözüme ulaşma olasılığını artırır.
Doğrulama verisinde: (USArrests K = 3): 1 başlangıç 81.5933 (yerel optimum); 10: 78.3233; 100: 78.3233 (küresel). iris ham K = 3: 1 başlangıç 7885.567, 10: 7885.144 (küresel). Metin en iyi KT'nin kaç başlangıçta bulunduğunu yazar.
En fazla iterasyon
Kavram: Bir başlangıçta 'ata ve merkezi güncelle' adımlarının en çok kaç kez yineleneceğidir. Sınır, çözüme varmadan önce aşılırsa algoritma yarım kalmış bir bölüntüyle durur; yakınsamadan sonra sınırın etkisi yoktur.
Gündelik örnek: Gruplar genellikle birkaç turda yerine oturur: sporcular gruplara dağıtılır, grup ortalamaları güncellenir, birkaç sporcu grup değiştirir ve sonunda kimse yer değiştirmez. Tur sınırı çok düşük tutulursa bazı sporcular yanlış grupta kalabilir.
Ne işe yarar: Bir başlangıçta en çok iterasyon sayısı.
Sonuca etkisi: Yakınsamadan önce sınır aşılırsa çözüm değişir; yakınsadıktan sonra etkisizdir.
Doğrulama verisinde: 10, 300 ve 2000 aynı sonucu verir (en iyi başlangıç 5 iterasyonda yakınsar; etkisiz).
K seçim ölçütleri tablosu ve Grafik
Kavram: Farklı K değerleri için küme içi KT (dirsek grafiği), silhouette ve Calinski-Harabasz (kümeler arası dağınıklığın küme içine oranı) yan yana verilir. Dirsek grafiğinde KT'nin azalışının belirgin biçimde yavaşladığı nokta, ek kümelerin artık fazla kazanç sağlamadığını gösterir.
Gündelik örnek: K 2'den 3'e çıkınca toplam KT çok azalıyor, 3'ten 4'e çıkınca ise az değişiyorsa grafikte bir dirsek oluşur ve üç grup makul görünür. PCA grafiği de sporcuları iki boyutlu bir düzlemde renklere göre göstererek grupların ne kadar ayrık olduğunu gözle görmeyi sağlar.
Ne işe yarar: K = 2..10 için KT (dirsek), silhouette, Calinski-Harabasz; grafik sekmesi (gözlem silhouette ayrıca metne küme başına özet ekler; PCA yalnız grafiği değiştirir).
Sonuca etkisi: Seçilen K'nın çözümü değişmez; K karşılaştırma tablosu ve grafikler eklenir.
Doğrulama verisinde: K = 2, 4, 5, 7'de MerQur küresel çözümü bulur; diğer K'larda yerel çözümde kalabilir. Küme başına silhouette özetleri raporlanır.
Gerçek veride örnek
Veri: McNeil 1977, R datasets USArrests (50 eyalet)
Değişkenler: özellikler Murder, Assault, UrbanPop, Rape (50 eyalette suç oranları ve kentli nüfus)
- Soru: ABD'nin 50 eyaleti dört suç/kentleşme göstergesine (Murder, Assault, UrbanPop, Rape) göre benzer profilli üç gruba nasıl ayrılır?
- Ayar: Değişkenler z-puanına çevrildi (Assault'un büyük ölçeği baskın olmasın diye); K = 3, k-means++ ile 25 başlangıç. En iyi çözüm 25 başlangıcın 13'ünde bulundu.
- Sonuç: Kümeler 17, 13 ve 20 eyaletten oluşur. Toplam küme-içi KT = 78.3233; kümeler arası KT toplam değişkenliğin %60.0'ını açıklar.
- Küme kalitesi: Ortalama silhouette 0.3094; kümeler belirgin ama birbirine yakın, orta düzeyde bir yapı.
- Betimsel: 20 eyaletlik küme tüm suç türlerinde yüksek (Murder ort. 12.17, Assault 255.3), 13 eyaletlik küme düşük suç ve düşük kentleşme, 17 eyaletlik küme kentli ama orta suç düzeyindedir. Ayrıştırmaya en çok Assault (F = 86.35) ve Murder (F = 62.52), en az UrbanPop (F = 11.31) katkı verir; bu F'ler yalnız betimseldir.
- Sınırlılık: k-ortalamalar yerel en küçüğe takılabilir: USArrests K = 3'te tek başlangıç 81.59 KT'li daha kötü bir çözüm verir. Çok başlangıç kullanılmalıdır.
- APA: z-puanlarıyla k-ortalamalar kümelemesi (K = 3, 25 başlangıç) 17, 13 ve 20 eyaletlik kümeler verdi; küme-içi KT = 78.32, R² = .60, ortalama silhouette = .31.
İlgili kavramlar
Küme sayısının seçimik-medoidler (PAM)Rastgele başlangıçlar ve yerel en iyi çözümSiluet katsayısıGap istatistiğiBasit atama (ortalama, medyan, kNN ile doldurma)z-puanı (standartlaştırma)Yakınsama ve en fazla iterasyon
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.