İstatistik Sözlüğü → Düğüm safsızlığı (Gini, entropi)
Düğüm safsızlığı (Gini, entropi)kavram
Karar ağacında bir düğümdeki gözlemlerin sınıflar bakımından ne kadar karışık olduğunu ölçen ve en iyi bölünmeyi seçmekte kullanılan ölçüt.
Gini safsızlığı G = 1 − Σ pₖ², entropi H = −Σ pₖ log pₖ ile hesaplanır; pₖ düğümdeki k sınıfının oranıdır. Düğümdeki tüm gözlemler aynı sınıftaysa iki ölçü de sıfırdır; sınıflar eşit karışmışsa en büyük değerini alır (iki sınıfta Gini 0,5). Ağaç, her adımda alt düğümlerin ağırlıklı safsızlığını en çok azaltan değişkeni ve kesim noktasını seçer; entropi kullanıldığında bu azalmaya bilgi kazancı denir.
Uygulamada Gini ve entropi çoğu zaman çok benzer ağaçlar üretir; Gini biraz daha hızlı hesaplanır. Sınıflandırma hata oranı da bir safsızlık ölçüsüdür ama bölünmelere daha az duyarlı olduğu için büyütmede değil budamada tercih edilir. Regresyon ağaçlarında safsızlığın yerini kareler toplamı alır. Gizil sınıf analizindeki entropi ise aynı formül ailesinden gelir ama farklı bir şeyi, gözlemlerin sınıflara ne kadar kesin atandığını ölçer.
Gündelik bir örnek
Bir düğümde 100 müşterinin 50'si ürünü almış, 50'si almamışsa Gini = 1 − (0,5² + 0,5²) = 0,5'tir. 'Yaş 30'un altında mı?' sorusu bu düğümü 40 alıcı-10 almayan ve 10 alıcı-40 almayan iki alt düğüme ayırırsa, her alt düğümün Gini değeri 1 − (0,8² + 0,2²) = 0,32 olur; safsızlık 0,5'ten 0,32'ye iner ve bu bölünme iyi bir adaydır.
MerQur'da
Karar Ağacında 'Ayrım ölçütü (Gini / Entropi)' sınıflamada düğüm safsızlığı ölçütünü seçer; Rastgele Ormanda 'Dengesiz sınıflar: dengeli ağırlık' seçeneğinin ağırlıkları Gini hesabına girer.