İstatistik Sözlüğü → Gap istatistiği
Gap istatistiğikavram
Kümeleme analizinde, farklı küme sayıları için küme içi dağınıklığı, kümesiz (tekdüze) referans verilerde beklenenle karşılaştırarak uygun küme sayısını seçmeye yarayan ölçüt.
Tibshirani, Walther ve Hastie (2001) tarafından önerilmiştir. Her k için küme içi kareler toplamı W_k hesaplanır. Ardından verinin kapsadığı bölgede tekdüze dağılmış çok sayıda referans veri seti üretilir ve aynı kümeleme bunlara da uygulanır. Gap(k) = E*[log W_k] − log W_k, gerçek verinin kümesiz bir veriye göre ne kadar 'daha kümeli' olduğunu ölçer. Önerilen kural, Gap(k) ≥ Gap(k + 1) − s_{k+1} koşulunu sağlayan en küçük k'dır; s, referans simülasyonlarından gelen standart hatadır.
Dirsek yöntemi gibi göze dayalı yaklaşımlara göre daha nesneldir ve k = 1 (kümeleme yok) seçeneğini de değerlendirebilir. Ancak referans verilerin üretimi simülasyona dayandığı için sonuç rastgele tohuma bağlıdır. Ayrıca kümeler çok farklı büyüklükte, uzamış ya da iç içe olduğunda yanıltıcı olabilir. Siluet katsayısı ve Calinski-Harabasz gibi ölçütlerle birlikte, kümelerin yorumlanabilirliği de göz önünde tutularak kullanılmalıdır.
Gündelik bir örnek
Bir perakendeci müşterilerini harcama ve ziyaret sıklığına göre gruplamak istiyor. k = 2, 3, 4, 5 için Gap değerleri 0,41, 0,62, 0,64 ve 0,60, standart hatalar yaklaşık 0,03 çıkıyor. k = 2 için 0,41 < 0,62 − 0,03 olduğundan koşul sağlanmıyor; k = 3 için 0,62 ≥ 0,64 − 0,03 = 0,61 olduğundan sağlanıyor. Kural bu yüzden 3 kümeyi öneriyor: dördüncü küme anlamlı bir ek yapı getirmiyor.
MerQur'da
K-ortalamalar kümelemede 'K seçim ölçütü' seçeneği Gap istatistiğini sunar: düzgün dağılımlı boş dağılımla (B = 50) Gap(k) ≥ Gap(k+1) - SE(k+1) koşulunu sağlayan en küçük k seçilir. Silhouette ve Calinski-Harabasz ölçütleri de küme sayısını ve kalitesini değerlendirmek için birlikte raporlanır.