İstatistik Sözlüğü → Kullback-Leibler (KL) ayrışımı
Kullback-Leibler (KL) ayrışımıkavram
Bir olasılık dağılımının, ikinci bir dağılımla yaklaşık olarak temsil edildiğinde ne kadar bilgi kaybedildiğini ölçen, sıfır ya da pozitif değerli bir ayrışım ölçüsü.
İki kesikli dağılım P ve Q için KL(P‖Q) = Σ pᵢ·log(pᵢ/qᵢ) olarak tanımlanır. Değer her zaman sıfır ya da pozitiftir ve yalnızca iki dağılım aynıysa sıfırdır. Bilgi kuramında, aslında P'den gelen veriyi Q'ya göre kodlamanın getirdiği ortalama ek bilgi miktarı olarak yorumlanır. En çok olabilirlik kestirimi, veri dağılımı ile model arasındaki KL ayrışımını en küçüklemeye denktir; AIC de bu fikre dayanır.
KL bir uzaklık değildir: simetrik değildir (KL(P‖Q) ≠ KL(Q‖P)) ve üçgen eşitsizliğini sağlamaz. t-SNE, yüksek boyutlu uzaydaki komşuluk olasılıkları P ile düşük boyutlu gömmedeki olasılıklar Q arasındaki KL(P‖Q)'yu en küçükler. Bu yönlülük, yakın komşuların uzağa düşmesini ağır, uzak noktaların yaklaşmasını ise hafif cezalandırır; t-SNE'nin yerel yapıyı iyi, küresel yapıyı zayıf koruması buradan gelir. t-SNE'de KL değeri yalnızca aynı veri ve aynı perplexity ile yapılan çalıştırmalar arasında karşılaştırılabilir.
Gündelik bir örnek
Bir hava durumu uygulaması yağmur olasılığını her gün %50 olarak bildiriyor; oysa bölgede gerçek yağmurlu gün oranı %10. Gerçek dağılım (P: %10 yağmur, %90 kuru) ile tahmin dağılımı (Q: %50, %50) arasındaki KL ayrışımı yaklaşık 0,37 nat'tır. Uygulama gerçek orana yaklaştıkça bu değer sıfıra iner.
MerQur'da
t-SNE'de 'KL ıraksaması' çıktısı, son gömmeden hesaplanan tam KL(P‖Q) değerini raporlar; düşük değer yerel komşulukların iyi korunduğunu gösterir.