MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → k-En Yakın Komşu

k-En Yakın Komşuanaliz

Yeni bir gözlemi, ölçümleri ona en çok benzeyen k gözlemin çoğunluk sınıfına atayan (ya da sayısal değerini bu komşuların ortalamasıyla tahmin eden) model varsayımı gerektirmeyen yöntem.

Kavram

k-en yakın komşu (KNN), 'birbirine benzeyen gözlemlerin sonuçları da benzerdir' fikrine dayanır. Model bir formül ya da katsayı öğrenmez; eğitim verisini olduğu gibi saklar ve tahmin anında yeni gözlemin bu verideki en yakın komşularına bakar. Bu nedenle ilişkinin biçimi hakkında hiçbir varsayım gerektirmez ve sınıflar arasındaki karmaşık, düzensiz sınırları da izleyebilir.

Yeni bir gözlem için önce tüm eğitim gözlemlerine uzaklığı hesaplanır; en sık kullanılan ölçü Öklid uzaklığıdır: d = √Σ(x_j − y_j)². En yakın k gözlem seçilir; sınıflamada bunların çoğunluk sınıfı, regresyonda değerlerinin ortalaması tahmin olur. Komşular arasındaki sınıf oranları (ör. 5 komşudan 4'ü A ise 0,8) sınıf olasılığı olarak kullanılabilir. Küçük k çok yerel ve dalgalı, büyük k daha yumuşak ama ayrıntıları kaçırabilen tahminler verir; uygun k genellikle çapraz doğrulamayla seçilir.

Uzaklık doğrudan ölçümlerden hesaplandığından değişkenlerin ölçeği belirleyicidir: ölçeklenmeyen veride büyük birimli bir değişken uzaklığa egemen olur. Ölçekleme parametreleri yalnız eğitim verisinden hesaplanmalıdır, aksi halde test bilgisi modele sızar. Değişken sayısı arttıkça tüm noktalar birbirine benzer uzaklıklara düşer ve komşuluk anlamını yitirir (boyut laneti); ilgisiz değişkenler de başarımı düşürür. Başarım bağımsız bir test kümesinde ya da çapraz doğrulamada ölçülmelidir.

Ne zaman kullanılır?

  • Değişken sayısının görece az, değişkenlerin sayısal ve anlamlı biçimde ölçeklenebilir olduğu, sınıflar arası sınırın düzensiz olabileceği sınıflandırma ya da tahmin sorularında.
  • Değişken sayısı çok fazlaysa ya da birçoğu ilgisizse rastgele orman, gradyan artırma veya destek vektör makinesi genellikle daha iyi sonuç verir.
  • Grupların ölçümlere göre nasıl ayrıştığını açıklayan fonksiyonlar ve katsayılar gerekiyorsa diskriminant analizi ya da lojistik regresyon tercih edilir.

Gündelik bir örnek

Bir kitabevi, yeni üye olan bir müşterinin en çok hangi türü (roman, tarih, bilim) seveceğini tahmin etmek istiyor. Müşterinin yaşı, aylık kitap alımı ve tercih ettiği kitap kalınlığı biliniyor. KNN, eski üyeler arasında bu üç bilgide ona en çok benzeyen 5 kişiyi bulur; bunlardan 3'ü en çok tarih, 2'si roman alıyorsa yeni müşteriye tarih kitapları önerilir. Aynı yöntem, bu 5 benzer müşterinin aylık harcamalarının ortalamasını alarak yeni müşterinin ne kadar harcayacağını da tahmin edebilir.

MerQur'da parametreler

Özellikler (X) ve Hedef sınıf (Y)

Kavram: Özellikler, gözlemler arasındaki benzerliğin (uzaklığın) hesaplandığı değişkenlerdir; hedef, tahmin edilecek sonuçtur. Hangi özelliklerin seçildiği, kimin kime 'komşu' sayılacağını doğrudan belirler.

Gündelik örnek: Kitabevi benzerliği yaş, aylık alım ve kitap kalınlığıyla ölçerse komşular okuma alışkanlığı benzer kişiler olur. Bunlara müşterinin ayakkabı numarası gibi ilgisiz bir bilgi eklenirse komşular rastgele kişilere dönüşmeye başlar.

Ne işe yarar: Uzaklığın hesaplandığı özellikleri ve tahmin edilecek hedefi seçer. Kategorik X'ler 0/1 kodlandıktan sonra sayısal gibi ölçeklenir.

Sonuca etkisi: Uzaklığı ve komşulukları belirler. Eksik değerli satırlar listeden silinir.

Doğrulama verisinde: Wine'da 13 özellik ve 3 sınıf, Pima'da 7 özellik ve 2 sınıf, Boston'da 13 özellik ve sürekli hedef.

Görev (Sınıflandırma (kategorik Y), Regresyon (sürekli Y))

Kavram: Hedef kategorikse komşuların oy çokluğu (sınıflandırma), sürekliyse komşu değerlerinin ortalaması (regresyon) kullanılır. Başarım da buna göre doğruluk ve kappa ya da RMSE, MAE ve R² ile ölçülür.

Gündelik örnek: 'Hangi türü sever?' sorusu sınıflandırmadır ve doğru tahmin oranıyla değerlendirilir. 'Ayda kaç lira harcar?' sorusu regresyondur ve tahminlerin gerçek harcamadan ortalama kaç lira saptığıyla değerlendirilir.

Ne işe yarar: Kategorik hedefte komşuların oyunu, sürekli hedefte komşu ortalamasını kullanır.

Sonuca etkisi: Çıktı ölçütlerini değiştirir (doğruluk ve kappa yerine RMSE, MAE, R2).

Doğrulama verisinde: Wine ve Pima sınıflandırma, Boston regresyon: RMSE 4.33993542276 ve R2 0.747225110833 (k = 5, z).

k seçimi (Sabit k, Aralıktan CV ile seç), k (komşu sayısı), En küçük k, En büyük k

Kavram: k, tahmine katılan komşu sayısıdır ve yanlılık ile varyans arasındaki dengeyi ayarlar: k = 1 her tahmini tek bir gözleme bağlar ve gürültüye çok duyarlıdır; büyük k birçok gözlemin ortalamasını aldığı için kararlıdır ama yerel farkları silebilir. Aralıktan seçimde her k çapraz doğrulamayla denenir ve en iyi başarımı veren alınır.

Gündelik örnek: Yalnız en benzer 1 müşteriye bakmak, o kişinin tesadüfen tuhaf bir zevki varsa yanıltır. 50 müşteriye bakmak ise herkese en popüler türü önermeye yaklaşır. Kitabevi k'yı 1 ile 20 arasında dener ve geçmiş müşterilerde en çok isabet eden değeri seçer.

Ne işe yarar: Sabit seçimde komşu sayısı elle verilir (varsayılan 3). Aralıktan seçimde [en küçük, en büyük] aralığındaki her k çapraz doğrulamayla denenir; en yüksek doğruluk (regresyonda en düşük RMSE) alınır, eşitlikte en büyük k seçilir.

Sonuca etkisi: Tüm tahminleri ve ölçütleri belirler. Çapraz doğrulamada ölçek, sızıntıyı önlemek için her katın eğitim kısmından yeniden hesaplanır.

Doğrulama verisinde: Wine, k = 1..25, 10 kat: seçilen k 25, test doğruluğu 0.9814814815. Pima, k = 1..30, 5 kat: seçilen k 18. Boston, k = 1..20: seçilen k 3.

→ k-katlı çapraz geçerleme

Uzaklık (Öklid, Manhattan (şehir bloğu))

Kavram: Öklid uzaklığı iki nokta arasındaki düz çizgi uzaklığıdır ve büyük farkları karelerle vurgular; Manhattan uzaklığı ise farkların mutlak değerlerinin toplamıdır, tek bir değişkendeki büyük farka daha az ağırlık verir.

Gündelik örnek: Öklid uzaklığı kuş uçuşu mesafeye, Manhattan uzaklığı ise ızgara biçimli sokaklarda köşeden köşeye yürüyerek alınan yola benzer. Bir müşteri yalnız yaşta çok farklı, diğer bilgilerde aynıysa Öklid onu Manhattan'a göre daha uzak sayar.

Ne işe yarar: Öklid, karelerin toplamının karekökü (varsayılan); Manhattan, mutlak farkların toplamıdır.

Sonuca etkisi: Komşulukları ve tahminleri değiştirir.

Doğrulama verisinde: Wine, Manhattan + min-max + 1/d, k = 7: doğruluk 0.9814814815; Pima, Manhattan + min-max, k = 9: doğruluk 0.8; Boston, Manhattan + 1/d, k = 6: RMSE 4.55852723633.

→ Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)

Özellik ölçekleme (Min-max [0, 1], z puanı, Yok (özgün birimler))

Kavram: Ölçekleme, değişkenleri ortak bir ölçeğe getirir: min-max her değişkeni 0 ile 1 arasına sıkıştırır, z puanı ortalaması 0 ve standart sapması 1 olacak biçimde dönüştürür. Ölçekleme yapılmazsa büyük sayısal aralığa sahip değişken uzaklığı tek başına belirler.

Gündelik örnek: Yaş 18 ile 80 arasında, aylık alım ise 0 ile 6 kitap arasında değişiyorsa ölçeklenmemiş uzaklık neredeyse yalnız yaşa bakar ve okuma alışkanlığı hesaba katılmaz. z puanıyla iki bilgi de eşit söz hakkı kazanır.

Ne işe yarar: Ölçek parametreleri yalnız eğitim verisinden (çapraz doğrulamada her katın eğitim kısmından) hesaplanır. Min-max, [-1, 1] aralığına normalleştirmeyle aynı komşuları verir.

Sonuca etkisi: Büyük ölçekli özelliklerin uzaklığa egemen olmasını önler; komşulukları, dolayısıyla tüm ölçütleri değiştirir.

Doğrulama verisinde: Pima, k = 11, ölçeksiz, test oranı 0.25: doğruluk 0.766917293233; Wine, min-max, k = 5: 0.962962962963; z puanıyla aynı k'da 0.9444444444.

→ z-puanı (standartlaştırma)

Ağırlıklandırma (Eşit, Uzaklıkla (1/d))

Kavram: Eşit ağırlıkta her komşu bir oy kullanır; uzaklıkla ağırlıklandırmada komşunun oyu uzaklığının tersiyle (1/d) çarpılır, böylece çok yakın komşular daha belirleyici olur ve oy eşitlikleri azalır.

Gündelik örnek: 5 komşudan neredeyse ikiz gibi benzeyen 2'si bilim, biraz daha uzaktaki 3'ü roman seviyorsa eşit oyda roman kazanır. Uzaklıkla ağırlıklandırmada en benzer iki kişinin sözü daha ağır basar ve bilim önerilebilir.

Ne işe yarar: Eşitte her komşu bir oydur; uzaklıklıda komşular 1/uzaklık ile ağırlıklanır, sıfır uzaklıklı komşu varsa yalnız onlar kullanılır.

Sonuca etkisi: Yakın komşulara daha çok ağırlık verir; oy eşitliklerini seyreltir.

Doğrulama verisinde: Wine'da Manhattan + min-max + 1/d (k = 7) ve Boston'da Manhattan + 1/d (k = 6) birleşimleri çalıştırılır.

→ Ters uzaklık ağırlıklandırması (IDW)

Değerlendirme (Eğitim / test bölmesi, k katlı çapraz doğrulama)

Kavram: Başarımın hangi tahminlerden ölçüleceğini belirler: eğitim/test bölmesinde model bir kısım veriyle kurulur ve hiç görmediği test kümesinde değerlendirilir; k-katlı çapraz doğrulamada her gözlem bir kez sınama katında yer alır ve tüm veri değerlendirmeye katılır. k aynı katlarla seçilip başarım da bu katlardan raporlanırsa sonuç biraz iyimser olur.

Gündelik örnek: Kitabevi 300 üyenin 210'unu model için kullanıp 90'ını sınav gibi ayırabilir. Ya da 300 üyeyi 10 gruba bölüp her grubu sırayla diğer 270 kişiye bakarak tahmin edebilir; bu ikinci yol, az veriyle daha kararlı bir başarı ölçüsü verir.

Ne işe yarar: Bölmede model eğitim kümesinde kurulur, başarım test kümesinde ölçülür (sınıflamada tabakalı). CV'de tüm veri katlara ayrılır ve başarım katlar dışı tahminlerden hesaplanır.

Sonuca etkisi: Ölçütlerin hangi tahminlerden hesaplandığını belirler. k aynı katlarla seçilirse CV başarımı hafif iyimserdir (uyarı verilir).

Doğrulama verisinde: Wine 10 katlı CV, k = 5: doğruluk 0.9719101124 (n = 178), kappa 0.9574976122.

→ Eğitim-test ayırımı (holdout)

Test oranı (varsayılan 0.3), CV kat sayısı (varsayılan 10), Rastgele tohum (varsayılan 42)

Kavram: Test oranı verinin ne kadarının sınama için ayrılacağını, kat sayısı çapraz doğrulamada verinin kaç parçaya bölüneceğini belirler. Rastgele tohum bu bölmeleri sabitler; aynı tohumla analiz tekrarlandığında aynı gözlemler aynı kümelere düşer ve sonuç birebir tekrarlanır.

Gündelik örnek: Test oranı 0,3 ise 300 üyenin 90'ı sınava ayrılır. Hangi 90 kişinin seçildiği tohuma bağlıdır; başka bir tohumla başarının biraz değişmesi, tek bir bölmeye dayanmanın şansa ne kadar açık olduğunu gösterir.

Ne işe yarar: Test kümesinin oranını (varsayılan yüzde 30), kat sayısını (varsayılan 10) ve bölme/CV tohumunu belirler; aynı tohum aynı sonucu verir.

Sonuca etkisi: Hangi gözlemlerin teste ayrıldığını belirler; tohum yalnız bölme ve katları etkiler.

Doğrulama verisinde: Wine testi 54 gözlem, Pima testi 160 gözlem (oran 0.3).

→ Eğitim-test ayırımı (holdout)

Güven Düzeyi (%90, %95, %99, Diğer (özel))

Kavram: Test kümesinde ölçülen doğruluk da bir örneklem tahminidir; güven aralığı, doğru tahmin sayısının binom dağılımından hesaplanır ve gerçek doğruluğun hangi aralıkta olabileceğini gösterir. Güven düzeyi arttıkça aralık genişler.

Gündelik örnek: 90 sınav müşterisinin 81'inde tür doğru tahmin edildiyse doğruluk %90'dır; ama yalnız 90 kişiye dayandığı için %95 güven aralığı kabaca %82 ile %95 arasındadır. %99 güven istenirse aralık daha da genişler.

Ne işe yarar: Doğruluk için kesin binom güven aralığının düzeyini belirler.

Sonuca etkisi: Yalnız aralığı değiştirir.

Doğrulama verisinde: %95'te Wine, k = 5, doğruluk 0.9444444444 için aralık 0.8461149662 ile 0.9883932256; NIR 0.3888888889.

→ Güven düzeyi ve güven aralığı

Tahminleri kaydet

Kavram: Her gözlemin tahmin edilen sınıfını ya da değerini ve sınıf olasılıklarını veri setine yeni sütunlar olarak ekler. Sınıf olasılığı, komşular arasında o sınıfa ait olanların (ağırlıklı) oranıdır.

Gündelik örnek: Kitabevi her üyenin yanına 'önerilen tür' ve 'tarih olasılığı 0,6, roman 0,4' gibi sütunlar ekler. Olasılığı yalnız 0,4 olan, yani komşuları dağınık olan üyelere tek tür yerine birkaç türden öneri gönderebilir.

Ne işe yarar: Tahmin edilen değeri (KNN_PRED) ve sınıf olasılıklarını (KNN_P_sınıf) veri setine yeni sütun olarak ekler; özellikleri tam olan tüm satırları skorlar.

Sonuca etkisi: Hesabı değiştirmez.

Gerçek veride örnek

Veri: UCI Wine, Aeberhard ve Forina 1992

Değişkenler: özellikler x1-x13 (13 kimyasal ölçüm), hedef cls (3 üzüm çeşidi); k = 5, z puanı

  • Soru: 13 kimyasal özellikten şarabın üç türünü (c1, c2, c3) k-en yakın komşu ile ne doğrulukla sınıflayabiliriz? (Wine, n = 178)
  • Yöntem: k = 5, Öklid uzaklık, z ölçekleme (eğitim kümesinden), eşit oy; %30 tabakalı test (eğitim 124, test 54, tohum 42).
  • Sonuç: Test doğruluğu = 0.944 (%95 GA [0.846, 0.988]); bilgisiz oran 0.389, p (doğruluk > NIR) < .001.
  • Etki büyüklüğü: Cohen kappa = 0.917, makro F1 = 0.944; şansa göre çok yüksek uyum.
  • Karışıklık: Yalnız 3 c2 örneği c3 olarak sınıflandı; c2 recall = 0.857, c3 precision = 0.833, c1 kusursuz.
  • Sınırlılık: Tek bir bölmeye dayanır; k çapraz doğrulamayla seçilmemiştir.
  • APA: KNN (k = 5), test n = 54: doğruluk = .94, %95 GA [.85, .99], κ = .92.

İlgili kavramlar

Eğitim-test ayırımı (holdout)k-katlı çapraz geçerlemeTers uzaklık ağırlıklandırması (IDW)z-puanı (standartlaştırma)Uzaklık ölçüsü (Öklid, Manhattan, Gower, büyük daire)Tahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)En yakın komşu sayısı (k) ve komşuluk grafiğiKappa katsayısı (Cohen κ)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.