MerQuR+Başvuru Kitabı

77. DBSCAN

Analiz kimliği: dbscan · Menü adı: DBSCAN · Panel: gui/panels/analyses/dbscan.py (form 47–96, read_options/q5_options 111–115, execute 124–152, gövde metni 189–214, k-uzaklık grafiği 217–233) · Motor: ml/clustering.py, Clustering.dbscan (satır 684–800); uzaklık birimi EARTH_RADIUS_KM (17) · Çağrı: stats_panel.py:7782–7825 (otomatik ε eşiği 7736)

77.1 Ne işe yarar

DBSCAN (density-based spatial clustering of applications with noise), kümeleri yoğun bölgeler olarak tanımlar: bir noktanın çevresindeki \varepsilon yarıçaplı komşulukta yeterince nokta varsa o nokta bir yoğun bölgenin içindedir. Birbirine yoğun noktalar zinciriyle bağlanabilen noktalar aynı kümeye girer; hiçbir yoğun bölgeye ulaşamayan noktalar gürültü (etiket −1) sayılır. Cevapladığı soru şudur: "Veride sayısı önceden bilinmeyen, biçimi serbest yoğun öbekler var mı; hangi noktalar hiçbir öbeğe ait değil?"

Küme sayısı girdi değildir, \varepsilon ve en küçük komşu sayısı (minPts) ile veriden çıkar. Bu bir hipotez testi değildir.

Ne zaman kullanılır?

  • Vaka konumları gibi mekânsal noktalarda öbek ve dağınık (sporadik) vakaları ayırmak için.
  • Kümeler uzamış, kıvrımlı ya da küresel olmayan biçimdeyse.
  • Aykırı/gürültü noktalarının kümelerden ayrı tutulması isteniyorsa.

Ne zaman kullanılmaz?

  • Kümelerin yoğunlukları çok farklıysa (tek \varepsilon hepsine uymaz): aynı modülde Algoritma: HDBSCAN (77.5.7).
  • Her gözlemin bir kümeye girmesi gerekiyorsa: K-Ortalamalar Kümelemesi (Bölüm 75) ya da Hiyerarşik Kümeleme (Bölüm 76).
  • Boyut sayısı yüksekse (onlarca değişken): uzaklıklar birbirine yaklaşır, yoğunluk kavramı zayıflar; önce boyut indirgeme (PCA) düşünülmelidir.
  • Bir noktanın beklenenden fazla vaka içerip içermediği istatistiksel olarak sınanacaksa: mekânsal tarama ya da sıcak nokta (Getis–Ord) analizleri.

Sık karıştırılan analizler. Menüdeki "DBSCAN Mekânsal Kümeleme" (CBS bölümü, Tıp #114) ayrı bir modüldür; bu bölüm genel amaçlı DBSCAN panelini anlatır. Ortalama bağlantı ya da tek bağlantı hiyerarşik kümeleme de "yakın noktaları zincirler", ama gürültü kavramı yoktur; tek bağlantının belirli bir yükseklikte kesilmesi, minPts = 2 olan DBSCAN'e denktir.

77.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Sayısal ya da coğrafi değişkenler Uzaklık tanımlı olmalı. Form sayısal ve koordinat sütunlarını listeler (numeric_geo).
Uzaklığın anlamlı ölçeği \varepsilon uzaklık biriminde bir eşiktir. Varsayılan z-standartlaştır açık; haversine'de kapalı ve \varepsilon km.
Kümelerin benzer yoğunluğu Tek \varepsilon ve minPts hepsine uygulanır. Denetlenmez; k-uzaklık grafiği yardımcıdır.
\varepsilon uygun seçilmiş Çok küçük: her şey gürültü; çok büyük: tek küme. Otomatik seçenek ve k-uzaklık yüzdelikleri.

Eksik değer. Varsayılan "Sil (listwise)" (ml/_preprocessing.py:320–322); doldurma seçenekleri 75.2'deki gibidir.

Uç durumlar.

  • En az \max(2\cdot\text{minPts},\,10) satır gerekir (clustering.py:709); minPts = 5 için 10, minPts = 50 için 100.
  • Haversine yalnız tam iki sütunla (sırayla enlem, boylam; derece) çalışır; aksi hata (clustering.py:714–716).
  • Hiç küme ya da tek küme çıkarsa silüet ve CH tanımsızdır; künyede "—" (clustering.py:751–758).
  • Tek değişkenle çalışılabilir; grafik değişkeni yatay eksende, düşey ekseni 0'da çizer (clustering.py:770–772).

77.3 Parametreler

Varsayılanlar dbscan.py:47–115 içinden okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Bağımsız değişkenler veriye bağlı Kümelemeye giren sayısal/koordinat sütunları. Uzay değişir.
ε (eps) 0,5 Komşuluk yarıçapı (0,01–1000, 3 ondalık). En küçük değer "Otomatik" yazar. Küme sayısı, gürültü ve sınır noktaları doğrudan değişir.
Min. örnek 5 minPts: çekirdek nokta için \varepsilon komşuluğundaki en az nokta sayısı, nokta kendisi dahil (2–100). Büyüdükçe gürültü artar, küçük öbekler kaybolur.
Eksik Veri Sil (listwise) 75.2'de. n değişir.
Uzaklık metriği Öklid Öklid; Manhattan (city-block); Chebyshev; Haversine (enlem, boylam; ε km). Komşuluk biçimi (daire, eşkenar dörtgen, kare) ve ölçek değişir.
z-standartlaştır açık Değişkenleri n-1 paydalı z-puanına çevirir. Haversine'de her zaman kapalı. \varepsilon SS birimindedir.
Grafik Küme saçılımı Küme saçılımı; k-uzaklık (dirsek) grafiği; 3B küme grafiği. Yalnız Grafik sekmesi.
Küme üyeliğini veri setine kaydet kapalı DBSCAN_CLUSTER sütunu (gürültü −1). Yalnız veri setine yazar.
Algoritma DBSCAN DBSCAN ya da HDBSCAN (ε kullanılmaz). 77.5.7.

Neden "Otomatik" ε değeri formun en küçük değeri?

Form kutusu 0,01'den başlar ve bu değerde "Otomatik" yazar (dbscan.py:61–67). Çağıran kod, girilen değer 0,011'den küçükse \varepsilon yerine None gönderir (stats_panel.py:7761); motor bu durumda k-uzaklıklarının 90. yüzdeliğini kullanır (77.5.3). Sonuç olarak kullanıcı tam 0,01 değerini \varepsilon olarak giremez. z-standartlaştırma açıkken bu sorun yaratmaz; kapalıyken ve değişkenler derece gibi küçük birimdeyse 0,01'den küçük bir \varepsilon girilemez.

77.4 Tıp örneği

Dosya: english/datasets/Tip/68_dbscan_case_location.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/68_dbscan_vaka_konum.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #68 bölümünden alınmıştır.

Değişken Rol Tür Açıklama / özet
lat Bağımsız değişken sürekli (derece) Enlem; ortalama 41,0070, SS 0,0499
lon Bağımsız değişken sürekli (derece) Boylam; ortalama 28,9559, SS 0,0789
case_id kullanılmaz

n ve eksik değer: 140 vaka, eksik değer yok. REHBER.md beklentisi: "3 yoğunluk kümesi + 20 noise nokta".

Klinik soru: Vakalar mekânda öbekleniyor mu; öbeklerin dışında kalan dağınık vakalar hangileri?

Seçilen ayarlar: Arayüz varsayılanları (ε = 0,5, minPts = 5, Öklid, z-standartlaştır açık). Karşılaştırma için otomatik ε, ε = 0,3 ve 0,2, minPts = 10, haversine (ε = 1 km ve otomatik), Manhattan, Chebyshev ve HDBSCAN da çalıştırılmıştır.

77.5 Formüller ve hesap adımları

MerQur'un sırası şudur: (1) değişkenleri hazırla; haversine'de radyana çevir, değilse isteğe bağlı z-puanı; (2) her noktanın minPts. en yakın komşu uzaklığını (k-uzaklık) hesapla ve sırala; (3) \varepsilon verilmemişse k-uzaklıklarının 90. yüzdeliğini al; (4) scikit-learn DBSCAN(eps, min_samples, metric) ile etiketle; (5) çekirdek/sınır/gürültü sayılarını, gürültüsüz silüet ve CH'yi, küme özetini hesapla.

77.5.1 Dönüşüm ve uzaklıklar

z-puanı 75.5.1'deki tanımdır (n-1 paydalı; clustering.py:722–723). Öklid, Manhattan ve Chebyshev uzaklıkları 76.5.2'deki gibidir. Haversine (büyük daire) uzaklığı:

d_{\text{hav}}(i,j)=2R\,\arcsin\sqrt{\sin^2\!\frac{\varphi_j-\varphi_i}{2}+\cos\varphi_i\cos\varphi_j\,\sin^2\!\frac{\lambda_j-\lambda_i}{2}}
  • \varphi: enlem, \lambda: boylam (radyan; MerQur dereceyi np.radians ile çevirir, clustering.py:718).
  • R=6371{,}0088 km: IUGG ortalama Dünya yarıçapı (clustering.py:17). scikit-learn uzaklığı radyan döndürür; MerQur k-uzaklıkları R ile km'ye çevirir, kullanıcının km \varepsilon'unu R'ye bölerek radyana çevirir (clustering.py:729, 741).

Tutarsızlığa dikkat

Enlem ve boylamı z-puanına çevirip Öklid uzaklık kullanmak (varsayılan) coğrafi geometriyi bozar. Bu veride \varepsilon=0{,}5 z birimi enlem yönünde 0{,}5\times0{,}049928°\approx2{,}78 km, boylam yönünde 0{,}5\times0{,}078931°\approx3{,}31 km'ye karşılık gelir; komşuluk daire değil elipstir ve iki eksenin km karşılığı verinin yayılımına bağlıdır. Koordinat verisinde haversine seçeneği ve km cinsinden \varepsilon tercih edilmelidir.

77.5.2 Komşuluk, çekirdek, sınır ve gürültü

N_\varepsilon(p)=\{\,q:\ d(p,q)\le\varepsilon\,\},\qquad p\ \text{çekirdek}\iff |N_\varepsilon(p)|\ge\text{minPts}
  • N_\varepsilon(p): p'nin \varepsilon komşuluğu; p'nin kendisi dahildir.
  • Çekirdek nokta: komşuluğunda en az minPts nokta bulunan nokta.
  • Sınır nokta: çekirdek değildir ama bir çekirdek noktanın komşuluğundadır; o çekirdeğin kümesine girer.
  • Gürültü: ne çekirdek ne de herhangi bir çekirdeğin komşusu olan nokta; etiket −1.

Küme, çekirdek noktalardan yoğunlukla erişilebilir noktaların en büyük kümesidir: p ve q çekirdekse ve d(p,q)\le\varepsilon ise aynı kümededir; bu ilişki zincirleme genişler. Algoritma noktaları veri sırasıyla tarar; henüz etiketsiz bir çekirdek bulduğunda yeni küme açar ve komşuluk zincirini genişletir. Bir sınır nokta iki farklı kümenin çekirdeklerine komşuysa, önce genişleyen kümeye girer; bu nedenle sınır noktaların ataması veri sırasına bağlıdır (Ester vd. 1996; Schubert vd. 2017).

Koddaki tercih

minPts, scikit-learn min_samples ve R dbscan::dbscan(minPts) tanımıyla aynıdır: nokta kendisi sayılır. Ester vd. (1996) tanımı da budur. Bazı kaynaklar (ve eski ELKI sürümleri) noktayı saymaz; o tanımla minPts = 5, buradaki 6'ya karşılık gelir. Küme numaraları 0'dan başlar; R dbscan 1'den başlar ve gürültüye 0 verir.

77.5.3 k-uzaklık ve otomatik ε

\text{kd}(p)=d\!\left(p,\ p_{(\text{minPts})}\right),\qquad \hat\varepsilon=Q_{0{,}90}\big(\{\text{kd}(p)\}\big)
  • p_{(\text{minPts})}: p'nin, kendisi dahil sıralı komşu listesindeki minPts. nokta; yani kendisi hariç (minPts − 1). en yakın komşu (NearestNeighbors(n_neighbors=minPts), clustering.py:727–729).
  • \text{kd}(p)\le\varepsilon \iff p çekirdektir: k-uzaklık, noktanın çekirdek olabilmesi için gereken en küçük \varepsilon'dur.
  • Q_{0{,}90}: 90. yüzdelik, doğrusal ara değerle (np.percentile, R quantile(type = 7)).
  • R karşılığı: dbscan::kNNdist(x, k = minPts - 1).

Neden 90. yüzdelik ve ne zaman yanıltır?

Sıralı k-uzaklık eğrisi kümelerin içinde düz ve küçük, gürültüde hızla yükselir; önerilen \varepsilon eğrinin "dirsek" noktasıdır (Ester vd. 1996). 90. yüzdelik, verinin yaklaşık %10'unun gürültü olduğu varsayımına karşılık gelen basit bir dirsek yaklaşımıdır. Gürültü oranı %10'u aşarsa yüzdelik gürültü bölgesine düşer ve \varepsilon büyük çıkar; gürültü noktaları bir araya gelip yapay küme oluşturabilir. Bu veride gürültü oranı yaklaşık %14'tür ve otomatik \hat\varepsilon=0{,}736 dördüncü, 5 noktalık bir küme üretir (77.6).

Otomatik ε bir bükülme noktası araması değildir

Motor yalnız k-uzaklıklarının 90. yüzdeliğini alır (clustering.py:731–732); eğri üzerinde bükülme noktası aranmaz. Sonuç metni yöntemi adıyla yazar ("otomatik: k-uzaklıklarının 90. yüzdeliği").

77.5.4 Silüet ve Calinski–Harabasz

Tanımlar 75.5.5–75.5.6'daki gibidir, ancak gürültü noktaları dışarıda bırakılır (clustering.py:752–758). Silüet seçilen metrikle (haversine'de radyan, oran ölçeği değişmez), CH ise kümelenen koordinatlarda Öklid KT'siyle hesaplanır. En az iki küme ve küme sayısından fazla gürültüsüz nokta gerekir.

Tutarsızlığa dikkat

Gürültünün dışarıda bırakılması silüeti yukarı çeker: kümelere sığmayan noktalar ölçüye girmez. ε küçüldükçe gürültü artar ve silüet çoğu zaman büyür (bu veride ε = 0,5'te 0,910, ε = 0,2'de 0,922). Silüet, \varepsilon seçimi için tek başına kullanılmamalıdır. Haversine'de CH, radyan cinsinden enlem–boylam düzleminde hesaplanır; boylam \cos\varphi ile düzeltilmez ve km anlamı taşımaz.

77.5.5 Küme özeti

Tablo sekmesi her küme için n, yüzde ve ham değişken ortalamalarını verir (_build_cluster_summary, clustering.py:1019–1037). Yüzde, gürültü dahil bütün analiz satırlarına göredir; küme yüzdelerinin toplamı 100'den küçük kalır, fark gürültü oranıdır.

77.5.6 Grafikler

Küme saçılımı, iki değişkende doğrudan (z-ölçekli) koordinatları, haversine'de boylam–enlem derecelerini, ikiden çok değişkende ilk iki temel bileşeni çizer; gürültü gri × ile gösterilir (clustering.py:764–776, dbscan.py:251–288). k-uzaklık grafiği sıralı \text{kd}(p) eğrisini ve kullanılan \varepsilon'u kırmızı kesikli çizgiyle gösterir (dbscan.py:217–233); R kNNdistplot karşılığıdır.

77.5.7 HDBSCAN

HDBSCAN (Campello, Moulavi ve Sander 2013) tek bir \varepsilon yerine bütün \varepsilon değerlerinin oluşturduğu küme ağacını kullanır:

\text{core}(p)=\text{kd}(p),\qquad d_{\text{mr}}(p,q)=\max\{\text{core}(p),\ \text{core}(q),\ d(p,q)\}
  • \text{core}(p): çekirdek uzaklığı; minPts (kendisi dahil) ile k-uzaklığın aynısı.
  • d_{\text{mr}}: karşılıklı erişilebilirlik uzaklığı; seyrek bölgelerdeki noktaları birbirinden uzaklaştırır.
  • Bu uzaklıkla en küçük kapsayan ağaç ve tek bağlantı hiyerarşisi kurulur; en küçük küme boyutu minPts olan "yoğunlaştırılmış ağaçta" kümelerin kararlılığı \sum_p(\lambda_p-\lambda_{\text{doğum}}), \lambda=1/d ile ölçülür ve kararlılığı en büyük küme kümesi seçilir (EOM).

MerQur scikit-learn HDBSCAN(min_cluster_size=minPts, min_samples=minPts, allow_single_cluster=False) çağırır (clustering.py:735–739); R dbscan::hdbscan(x, minPts) ile aynı tanımdır. Künyede ε satırı yazılmaz; gövde metni yalnız küme ve gürültü sayısını verir.

77.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Aşağıdaki değerler dogrulama/dbscan/elle_hesap.py ile, MerQur ve scikit-learn çağrılmadan numpy ile hesaplanmıştır (DBSCAN genişletmesi, k-uzaklık, haversine ve HDBSCAN dahil).

Adım 1 — z-puanı. 1. vaka: enlem 40,99054, boylam 28,84567.

z_{1}=\left(\frac{40{,}99054-41{,}006997}{0{,}049928},\ \frac{28{,}84567-28{,}955919}{0{,}078931}\right)=(-0{,}329610;\ -1{,}396780)

Adım 2 — 1. vakanın komşuluğu. 1. vakaya en yakın uzaklıklar (kendisi dahil, z ölçeği): 0; 0,008265; 0,028249; 0,036540; 0,041193; … Beşinci değer 1. vakanın k-uzaklığıdır: \text{kd}(1)=0{,}041193\le0{,}5. \varepsilon=0{,}5 komşuluğunda 40 nokta vardır; 1. vaka çekirdektir.

Adım 3 — Sınır ve gürültü. 136. vakanın \varepsilon komşuluğunda 3 nokta vardır (kendisi, 121. ve 140. vakalar); çekirdek değildir. 121. vaka çekirdek olduğundan 136. vaka onun kümesine (Küme 1) sınır nokta olarak girer. 122–140 arasındaki 16 vakanın komşuluğunda 1–3 nokta vardır ve hiçbir çekirdeğe komşu değildir: gürültü.

Çekirdek Sınır Gürültü Küme büyüklükleri
ε = 0,5, minPts = 5 123 1 16 40, 43, 41

Adım 4 — Küme ortalamaları (ham). Küme 0: (40,9895; 28,8498), Küme 1: (41,0494; 28,9672), Küme 2: (40,9514; 29,0290). Üç öbek kentin batı, kuzey ve doğu kesimlerindedir.

Adım 5 — Otomatik ε. 140 k-uzaklık sıralanır; 90. yüzdelik konumu 0{,}9\times(140-1)=125{,}1'dir. 126. ve 127. sıralı değerler 0,730153 ve 0,790082:

\hat\varepsilon=0{,}730153+0{,}1\times(0{,}790082-0{,}730153)=0{,}736146

Yüzdelikler: %50 = 0,0584; %75 = 0,1001; %90 = 0,7361; %95 = 0,9789. Medyan ile 90. yüzdelik arasındaki 12 katlık sıçrama, eğrinin dirseğinin %75 ile %90 arasında olduğunu gösterir.

Şekil 77.1. Solda sıralı k-uzaklık eğrisi (minPts = 5, kendisi dahil), turuncu kesikli ε = 0,5, gri noktalı otomatik ε = 0,736; sağda ε = 0,5 sonucu z düzleminde: dolu noktalar çekirdek, içi boş halka sınır, gri × gürültü.

Adım 6 — Silüet ve CH (gürültüsüz 124 nokta). \bar s=0{,}910002, \text{CH}=3836{,}329262.

Adım 7 — Haversine. 1. ve 2. vaka arası büyük daire uzaklığı 0,054448 km (≈ 54 m). ε = 1 km ve minPts = 5 ile 120 çekirdek, 0 sınır, 20 gürültü ve üç adet 40'lık küme bulunur; bu, veri üretim senaryosunun (3 öbek + 20 dağınık vaka) tam karşılığıdır. Otomatik ε (haversine) 4,4679 km'dir ve 4 küme, 7 gürültü verir.

Adım 8 — Ayar duyarlılığı.

Ayar Küme Çekirdek / sınır / gürültü Silüet CH
ε = 0,5, minPts = 5 (varsayılan) 3 123 / 1 / 16 0,9100 3836,3
ε otomatik (0,7361) 4 126 / 6 / 8 0,8583 1395,3
ε = 0,3 3 120 / 2 / 18 0,9201 5571,4
ε = 0,2 3 120 / 1 / 19 0,9222 5933,1
ε = 0,5, minPts = 10 3 122 / 2 / 16 0,9100 3836,3
Haversine ε = 1 km 3 120 / 0 / 20 0,9254 8370,1
Manhattan ε = 0,5 3 122 / 0 / 18 0,9255 5571,4
HDBSCAN minPts = 5 3 — / — / 10 0,8692 1217,1

Üç öbek bütün makul ayarlarda bulunur; ayarlar yalnız öbeklerin kenarındaki dağınık vakaların gürültü mü sınır mı sayılacağını değiştirir. Otomatik ε gürültü bölgesine düştüğü için kuzeydeki 5 dağınık vakayı ayrı bir "küme" yapar.

77.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() çıktısından alınmıştır (dogrulama/dbscan/merqur_calistir.py; round() yalnız bellekte etkisiz). Python sütunu numpy ile bağımsız DBSCAN genişletmesi, k-uzaklık, haversine ve HDBSCAN (Prim ağacı, yoğunlaştırılmış ağaç, EOM) uygulamasıdır. R: 4.5.3, dbscan::dbscan, dbscan::kNNdist(k = minPts − 1), dbscan::is.corepoint, dbscan::hdbscan, cluster::silhouette, geosphere::distHaversine(r = 6371008,8 m). Bölüntü satırlarında değer, R'nin bölüntüsüne göre farklı sınıfa düşen nokta sayısıdır (gürültü ayrı sınıf). Ölçüt: en büyük mutlak fark \le10^{-6} (değer 1'den büyükse göreli).

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Otomatik ε (k-uzaklık 90. yüzdelik, z) 0,736146 0,736146 0,736146 1,1e−16 ✓
Otomatik ε (haversine, km) 4,467865 4,467865 4,467865 2,7e−15 ✓
ε = 0,5, minPts = 5 (z, Öklid): k-uzaklıkları (140, sıralı) 1,428177 1,428177 1,428177 4,0e−15 ✓
ε = 0,5, minPts = 5 (z, Öklid): küme sayısı 3 3 3 0,0e+00 ✓
ε = 0,5, minPts = 5 (z, Öklid): çekirdek / sınır / gürültü (gösterilen gürültü) 16 16 16 0,0e+00 ✓
ε = 0,5, minPts = 5 (z, Öklid): bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
ε = 0,5, minPts = 5 (z, Öklid): silüet (gürültüsüz) 0,910002 0,910002 0,910002 1,1e−16 ✓
ε = 0,5, minPts = 5 (z, Öklid): Calinski–Harabasz (gürültüsüz) 3836,329262 3836,329262 3836,329262 9,1e−13 ✓
ε otomatik (z, Öklid): k-uzaklıkları (140, sıralı) 1,428177 1,428177 1,428177 4,0e−15 ✓
ε otomatik (z, Öklid): küme sayısı 4 4 4 0,0e+00 ✓
ε otomatik (z, Öklid): çekirdek / sınır / gürültü (gösterilen gürültü) 8 8 8 0,0e+00 ✓
ε otomatik (z, Öklid): bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
ε otomatik (z, Öklid): silüet (gürültüsüz) 0,858279 0,858279 0,858279 3,3e−16 ✓
ε otomatik (z, Öklid): Calinski–Harabasz (gürültüsüz) 1395,266958 1395,266958 1395,266958 2,7e−12 ✓
ε = 0,3: k-uzaklıkları (140, sıralı) 1,428177 1,428177 1,428177 4,0e−15 ✓
ε = 0,3: küme sayısı 3 3 3 0,0e+00 ✓
ε = 0,3: çekirdek / sınır / gürültü (gösterilen gürültü) 18 18 18 0,0e+00 ✓
ε = 0,3: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
ε = 0,3: silüet (gürültüsüz) 0,920131 0,920131 0,920131 5,6e−16 ✓
ε = 0,3: Calinski–Harabasz (gürültüsüz) 5571,405919 5571,405919 5571,405919 9,1e−13 ✓
ε = 0,2: k-uzaklıkları (140, sıralı) 1,428177 1,428177 1,428177 4,0e−15 ✓
ε = 0,2: küme sayısı 3 3 3 0,0e+00 ✓
ε = 0,2: çekirdek / sınır / gürültü (gösterilen gürültü) 19 19 19 0,0e+00 ✓
ε = 0,2: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
ε = 0,2: silüet (gürültüsüz) 0,922202 0,922202 0,922202 3,3e−16 ✓
ε = 0,2: Calinski–Harabasz (gürültüsüz) 5933,110077 5933,110077 5933,110077 1,8e−12 ✓
ε = 0,5, minPts = 10: k-uzaklıkları (140, sıralı) 2,306681 2,306681 2,306681 5,1e−15 ✓
ε = 0,5, minPts = 10: küme sayısı 3 3 3 0,0e+00 ✓
ε = 0,5, minPts = 10: çekirdek / sınır / gürültü (gösterilen gürültü) 16 16 16 0,0e+00 ✓
ε = 0,5, minPts = 10: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
ε = 0,5, minPts = 10: silüet (gürültüsüz) 0,910002 0,910002 0,910002 1,1e−16 ✓
ε = 0,5, minPts = 10: Calinski–Harabasz (gürültüsüz) 3836,329262 3836,329262 3836,329262 9,1e−13 ✓
Haversine ε = 1 km: k-uzaklıkları (140, sıralı) 8,925561 8,925561 8,925561 7,1e−15 ✓
Haversine ε = 1 km: küme sayısı 3 3 3 0,0e+00 ✓
Haversine ε = 1 km: çekirdek / sınır / gürültü (gösterilen gürültü) 20 20 20 0,0e+00 ✓
Haversine ε = 1 km: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
Haversine ε = 1 km: silüet (gürültüsüz) 0,925401 0,925401 0,925401 3,3e−16 ✓
Haversine ε = 1 km: Calinski–Harabasz (gürültüsüz) 8370,108202 8370,108202 8370,108202 4,0e−10 ✓
Haversine ε otomatik: k-uzaklıkları (140, sıralı) 8,925561 8,925561 8,925561 7,1e−15 ✓
Haversine ε otomatik: küme sayısı 4 4 4 0,0e+00 ✓
Haversine ε otomatik: çekirdek / sınır / gürültü (gösterilen gürültü) 7 7 7 0,0e+00 ✓
Haversine ε otomatik: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
Haversine ε otomatik: silüet (gürültüsüz) 0,844696 0,844696 0,844696 1,1e−16 ✓
Haversine ε otomatik: Calinski–Harabasz (gürültüsüz) 1165,644806 1165,644806 1165,644806 9,1e−11 ✓
Manhattan ε = 0,5: k-uzaklıkları (140, sıralı) 1,818069 1,818069 1,818069 4,9e−15 ✓
Manhattan ε = 0,5: küme sayısı 3 3 3 0,0e+00 ✓
Manhattan ε = 0,5: çekirdek / sınır / gürültü (gösterilen gürültü) 18 18 18 0,0e+00 ✓
Manhattan ε = 0,5: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
Manhattan ε = 0,5: silüet (gürültüsüz) 0,925534 0,925534 0,925534 1,1e−16 ✓
Manhattan ε = 0,5: Calinski–Harabasz (gürültüsüz) 5571,405919 5571,405919 5571,405919 9,1e−13 ✓
Chebyshev ε = 0,5: k-uzaklıkları (140, sıralı) 1,319698 1,319698 1,319698 4,4e−15 ✓
Chebyshev ε = 0,5: küme sayısı 3 3 3 0,0e+00 ✓
Chebyshev ε = 0,5: çekirdek / sınır / gürültü (gösterilen gürültü) 16 16 16 0,0e+00 ✓
Chebyshev ε = 0,5: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
Chebyshev ε = 0,5: silüet (gürültüsüz) 0,901191 0,901191 0,901191 0,0e+00 ✓
Chebyshev ε = 0,5: Calinski–Harabasz (gürültüsüz) 3836,329262 3836,329262 3836,329262 9,1e−13 ✓
HDBSCAN minPts = 5: küme sayısı 3 3 3 0,0e+00 ✓
HDBSCAN: gürültü sayısı 10 10 10 0,0e+00 ✓
HDBSCAN: bölüntü (farklı atama) 0 0 0 0,0e+00 ✓
HDBSCAN: silüet (gürültüsüz) 0,869183 0,869183 0,869183 4,4e−16 ✓
HDBSCAN: Calinski–Harabasz 1217,087303 1217,087303 1217,087303 4,3e−12 ✓

Sonuç: 61 satırın tamamı ölçütü karşılar. Dokuz DBSCAN ayarı ve HDBSCAN'de üç kaynak aynı k-uzaklıkları, aynı çekirdek/sınır/gürültü sayılarını, aynı bölüntüyü ve aynı silüet ile CH'yi verir; en büyük fark 10^{-12} düzeyindedir.

77.7 Çıktıyı okuma

MerQur'un sonuç metni (varsayılan ayarlar):

DBSCAN | n = 140 | ε (eps): 0.5000 | min_samples: 5 | Küme sayısı: 3 | Silüet: 0.91
Metrik: Öklid (z-standartlaştırılmış veri);  kullanılan ε = 0.5000 (kullanıcı);  gürültü = 16 / 140
k-uzaklık (k = 5) yüzdelikleri: %50 = 0.0584, %75 = 0.1001, %90 = 0.7361, %95 = 0.9789
Nokta türleri: çekirdek = 123, sınır = 1, gürültü = 16

[Tablo]
 Küme  n    %  lat_ort  lon_ort
    0 40 28.6  40.9895  28.8498
    1 43 30.7  41.0494  28.9672
    2 41 29.3  40.9514  29.0290
Öğe Ne yazar Nasıl yorumlanır
Künye ε Kullanıcı ε'u ya da "otomatik (= değer)" Haversine'de "km" eki. HDBSCAN'de satır yok.
Künye Küme sayısı Gürültü hariç küme sayısı Veriden çıkar.
Künye Silüet Gürültüsüz silüet 0,91 yüksek görünür ama 16 gürültü noktası dışarıdadır (77.5.4).
Metrik satırı Metrik, ölçek, kullanılan ε, gürültü / n Gürültü oranı 16/140 = %11,4.
k-uzaklık yüzdelikleri kd'nin %50, %75, %90, %95'i ε bu dağılıma göre yorumlanır: ε = 0,5 %75 ile %90 arasında, yani dirseğin üstünde.
Nokta türleri Çekirdek, sınır, gürültü Sınır noktaların ataması tarama sırasına bağlı olabilir.
Tablo sekmesi n, %, ham ortalamalar % gürültü dahil toplama göre; küme yüzdeleri toplamı %88,6.
HDBSCAN gövdesi "HDBSCAN — metrik: …, minPts = 5: 3 küme, gürültü = 10 / 140" Metrik adı arayüz dilinde yazılır.

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

140 vakanın konumları DBSCAN ile kümelendi (haversine uzaklık, ε = 1 km, minPts = 5). Analiz, her biri 40 vakadan oluşan üç mekânsal öbek belirledi; 20 vaka (%14,3) hiçbir öbeğe ait olmayan dağınık vaka olarak sınıflandı. Öbekler kentin batı (ortalama 40,99° K, 28,85° D), kuzey (41,05° K, 28,97° D) ve doğu (40,95° K, 29,03° D) kesimlerindeydi. Gürültü dışındaki noktalar için ortalama silüet genişliği 0,93'tür. Sonuç, z-standartlaştırılmış Öklid uzaklıkla (ε = 0,5) ve HDBSCAN ile de üç öbek olarak elde edildi.

77.8 Uzman soruları

S1. minPts noktanın kendisini sayıyor mu? R ile aynı mı?

Evet. MerQur scikit-learn min_samples kullanır; nokta kendi komşuluğunda sayılır. R dbscan::dbscan(minPts) aynı tanımı kullanır ve bu veride dokuz ayarda bölüntüler birebir aynıdır. k-uzaklık da buna uygun olarak kendisi dahil minPts. komşudur; R'de karşılığı kNNdist(x, k = minPts - 1)'dir. Arayüz ipucu bunu "k = min_samples, kendisi dahil" diye yazar.

S2. Otomatik ε nasıl seçiliyor? Literatürdeki "dirsek" yöntemi mi?

Hayır. MerQur k-uzaklıklarının 90. yüzdeliğini alır (clustering.py:731–732); eğri üzerinde bükülme noktası aranmaz. Gürültü oranı yaklaşık %10'dan küçükse makul sonuç verir; bu veride %14 gürültü nedeniyle ε = 0,736 çıkar ve yapay bir dördüncü küme oluşur. k-uzaklık grafiğine bakıp ε'u elle seçmek daha güvenlidir.

S3. Sınır noktalar neden "veri sırasına bağlı"?

Bir sınır nokta iki farklı kümenin çekirdeklerinin komşuluğundaysa, DBSCAN onu önce genişleyen kümeye verir; kümeler veri sırasıyla açıldığı için satır sırası değişirse atama değişebilir. Çekirdek noktaların ve gürültünün belirlenmesi sıradan bağımsızdır. Bu veride tek sınır nokta yalnız bir kümeye komşudur; R ile atama aynıdır.

S4. Silüet 0,91 çıktı. Kümeleme çok mu iyi?

Kümelenen noktalar için evet, ama silüet gürültüyü dışarıda bırakır (clustering.py:752–758). ε küçüldükçe gürültü artar ve silüet çoğu zaman büyür; bu, ε'un silüete göre seçilmesini yanıltıcı yapar. Raporda silüetle birlikte gürültü oranı da verilmelidir.

S5. Enlem–boylamı z-puanına çevirmek doğru mu?

Coğrafi olarak hayır: iki eksen farklı km karşılıklarına ölçeklenir (bu veride 2,78 ve 3,31 km) ve komşuluk elips olur. Haversine seçeneği büyük daire uzaklığını km cinsinden kullanır ve standartlaştırmayı kapatır. Bu veride ikisi aynı üç öbeği bulur, gürültü sayısı farklıdır (16 ve 20).

S6. minPts için nasıl bir değer seçilmeli?

Ester vd. (1996) iki boyut için 4 önerir; sonraki çalışmalar boyut sayısının iki katını önerir (Schubert vd. 2017). minPts büyüdükçe k-uzaklık eğrisi pürüzsüzleşir, küçük öbekler gürültüye dönüşür. MerQur'un en az satır kuralı 2\cdot\text{minPts}'dir; minPts = 50 seçilirse 100'den az satırlı veride hata verilir.

S7. HDBSCAN ile DBSCAN arasında hangisini raporlamalıyım?

Yoğunlukları farklı kümeler varsa ya da ε için sağlam bir gerekçe yoksa HDBSCAN. Bu veride HDBSCAN aynı üç öbeği bulur, 10 noktayı gürültü sayar. MerQur HDBSCAN'de tek kümeli çözüme izin vermez (allow_single_cluster=False, clustering.py:737–738); bu veride R dbscan::hdbscan(minPts = 5) ile bölüntü birebir aynıdır.

S8. Manhattan ya da Chebyshev ne zaman anlamlı?

Manhattan komşuluğu eşkenar dörtgen, Chebyshev komşuluğu karedir. Kent içi yol ağına benzer ızgara düzeninde Manhattan bir yaklaşım olabilir; ama gerçek yol uzaklığı değildir. Bu veride üç metrik aynı öbekleri bulur, yalnız kenar noktaların gürültü/sınır ayrımı değişir.

77.9 Sık hatalar ve tuzaklar

  • Koordinatlarda varsayılan z + Öklid'i kullanmak. ε'un km karşılığı eksene ve verinin yayılımına bağlı olur; haversine ve km cinsinden ε seçin.
  • Otomatik ε'u doğrulamadan kabul etmek. 90. yüzdelik, gürültü oranı %10'u aştığında gürültüyü kümeye çevirir.
  • Silüeti ε seçim ölçütü yapmak. Gürültü dışarıda kaldığından küçük ε silüeti yapay olarak büyütür.
  • Küme yüzdelerini toplamın tamamı sanmak. Tablodaki % gürültü dahil toplama göredir; eksik kalan oran gürültüdür.
  • Küme numarasını kalıcı sanmak. Numaralar tarama sırasına göre verilir; veri sırası değişirse numaralar değişebilir.
  • Gürültüyü "aykırı değer" diye silmek. Gürültü, seçilen ε ve minPts'e göre yoğun bölgeye ait olmayan noktadır; klinik olarak en ilginç (dağınık, bağlantısız) vakalar olabilir.
  • minPts'i 2–3 gibi çok küçük seçmek. Rastgele yakın iki nokta "küme" olur; tek bağlantı zincirlemesi ortaya çıkar.
  • Standartlaştırma kapalıyken ε'u varsayılan 0,5 bırakmak. Derece biriminde 0,5° yaklaşık 40–55 km'dir ve bütün vakalar tek kümeye girer.

77.10 Kaynaklar

  • Campello, R. J. G. B., Moulavi, D., & Sander, J. (2013). Density-based clustering based on hierarchical density estimates. J. Pei, V. S. Tseng, L. Cao, H. Motoda ve G. Xu (Ed.), Advances in Knowledge Discovery and Data Mining (PAKDD 2013) içinde (Lecture Notes in Computer Science, Cilt 7819, ss. 160–172). Springer. https://doi.org/10.1007/978-3-642-37456-2_14
  • Caliński, T., & Harabasz, J. (1974). A dendrite method for cluster analysis. Communications in Statistics, 3(1), 1–27. https://doi.org/10.1080/03610927408827101
  • Ester, M., Kriegel, H.-P., Sander, J., & Xu, X. (1996). A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96) içinde (ss. 226–231). AAAI Press.
  • Hahsler, M., Piekenbrock, M., & Doran, D. (2019). dbscan: Fast density-based clustering with R. Journal of Statistical Software, 91(1), 1–30. https://doi.org/10.18637/jss.v091.i01
  • Rousseeuw, P. J. (1987). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20, 53–65. https://doi.org/10.1016/0377-0427(87)90125-7
  • Schubert, E., Sander, J., Ester, M., Kriegel, H.-P., & Xu, X. (2017). DBSCAN revisited, revisited: Why and how you should (still) use DBSCAN. ACM Transactions on Database Systems, 42(3), 19:1–19:21. https://doi.org/10.1145/3068335