MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Anomali Tespiti

Anomali Tespitianaliz

Bir veri setinde verinin genel yapısına uymayan, olağandışı (aykırı ya da anormal) gözlemleri istatistiksel ya da makine öğrenmesi ölçütleriyle belirleyip işaretleyen yöntemler.

Kavram

Aykırı gözlemler bir ölçüm ya da giriş hatasından, sıra dışı ama gerçek bir olaydan ya da ayrı bir alt gruptan kaynaklanabilir. Fark edilmezlerse ortalama, standart sapma, korelasyon ve regresyon gibi sonuçları ciddi biçimde bozabilirler. Anomali tespiti bu gözlemleri bulur ve gerekçesini gösterir; ama bir gözlemin silinip silinmeyeceği istatistiksel değil, konuya ilişkin bir karardır.

Yöntemler üç grupta toplanır. Tek değişkenli yöntemler her değişkeni ayrı inceler: IQR yöntemi çeyreklikler dışında belli bir uzaklıkta kalanları, z-skoru ortalamadan kaç standart sapma uzakta olduğuna, değiştirilmiş z-skoru ise medyan ve MAD gibi dayanıklı ölçülere bakar; Grubbs ve Rosner ESD testleri normal dağılım altında aykırılığı biçimsel olarak sınar. Çok değişkenli yöntemler değişkenleri birlikte değerlendirir: Mahalanobis uzaklığı değişkenler arasındaki korelasyonu hesaba katar, Isolation Forest ve LOF ise dağılım varsaymadan yalıtılmışlığa ya da yerel yoğunluğa göre puan verir. Zaman serisi yöntemi önce trend ve mevsimi çıkarır, sonra artıklardaki aykırılıkları arar.

Önemli bir tuzak maskelemedir: birden fazla aykırı değer ortalamayı ve standart sapmayı kendine doğru çektiğinde klasik yöntemler bunları göremez. Bu yüzden medyan/MAD ve sağlam Mahalanobis (MCD) gibi dayanıklı yöntemler daha güvenilirdir. Yöntemlerin çoğunda eşik bir seçimdir; eşik değiştikçe işaretlenen gözlem sayısı değişir. İşaretlenenlerin oranı yüksekse bunlar 'hata' değil, verinin ayrı bir kümesi olabilir.

Ne zaman kullanılır?

  • Analiz öncesinde veri temizliği ve kalite denetimi için; giriş hatası, ölçüm arızası ya da şüpheli kayıtları işaretlemek amacıyla.
  • Tek bir değişkende uç değer aranıyorsa IQR ya da değiştirilmiş z-skoru; değerler tek tek olağan ama birlikte olağandışı olabiliyorsa Mahalanobis/MCD, Isolation Forest ya da LOF kullanılır.
  • Mevsimsel bir zaman serisinde aykırı dönemler aranıyorsa STL artığı + IQR; bir modelin sonuçlarını en çok etkileyen gözlemler aranıyorsa regresyonun etki tanıları (Cook uzaklığı, kaldıraç) tercih edilir.

Gündelik bir örnek

Bir süpermarket zinciri, bir ay boyunca kasalardan geçen işlemlerin tutarını, ürün sayısını ve indirim miktarını inceliyor. Kasiyerin yanlışlıkla 12,50 TL yerine 1.250 TL girdiği bir fiş, tutar değişkeninde tek başına uç değer olarak hemen göze çarpar. Daha sinsi bir durum ise 3 ürünlük bir sepete 400 TL indirim yapılmasıdır: ne ürün sayısı ne indirim tek başına olağandışıdır, ama ikisinin birlikteliği olağandışıdır ve bunu ancak Mahalanobis ya da Isolation Forest gibi çok değişkenli bir yöntem yakalar.

MerQur'da parametreler

Özellikler (değişken seçimi)

Kavram: Anomali aramasının hangi değişkenler üzerinde yapılacağını belirler. Tek değişkenli yöntemler her değişkeni ayrı ayrı inceler ve herhangi birinde sınırı aşan satırı işaretler; çok değişkenli yöntemler ise değişkenlerin birlikte oluşturduğu örüntüye bakar.

Gündelik örnek: Yalnızca işlem tutarı seçilirse 1.250 TL'lik hatalı fiş bulunur. Ürün sayısı ve indirim birlikte seçildiğinde ise az ürünlü sepete yapılan büyük indirim gibi ancak değişkenlerin birlikteliğinde görülen tuhaflıklar da aranabilir.

Ne işe yarar: Tek değişkenli yöntemler (IQR, z, MAD, Grubbs, ESD) değişken başına uygulanır; herhangi birinde sınırı aşan satır anomali sayılır. Isolation Forest, LOF, Mahalanobis ve MCD çok değişkenlidir (Isolation Forest ve LOF en az 2 özellik ister).

Sonuca etkisi: İncelenen değişken kümesi.

Doğrulama verisinde: hbk'de yalnız X1: IQR yine 1-14. gözlemleri bulur.

Yöntem (IQR / Z-Score / Modified Z-Score MAD / Isolation Forest / LOF / Mahalanobis D² / Robust Mahalanobis MCD / Grubbs / Rosner ESD / Zaman serisi: STL artığı + IQR)

Kavram: Aykırılığın hangi ölçütle tanımlanacağını seçer: çeyrekliklere uzaklık (IQR), ortalamaya uzaklık (z), dayanıklı merkeze uzaklık (MAD), yalıtılmışlık (Isolation Forest), yerel yoğunluk (LOF), korelasyonu hesaba katan uzaklık (Mahalanobis, MCD), normal dağılım altında biçimsel test (Grubbs, ESD) ya da zaman serisi artığı. Klasik ölçütler maskelenmeye açıktır; dayanıklı ölçütler değildir.

Gündelik örnek: Aynı kasiyer gün içinde beş kez aynı hatayı yaptıysa bu beş uç fiş ortalamayı ve standart sapmayı yukarı çeker ve z-skoru onların hiçbirini aykırı bulmayabilir. Medyan ve MAD'e dayanan yöntem ise beşini de yakalar.

Ne işe yarar: Anomali ölçütünü seçer.

Sonuca etkisi: Bayraklanan gözlem kümesi.

Doğrulama verisinde: hbk X1-X3, varsayılan eşikler: IQR 14 (1-14), z 1 (14), MAD 14, Isolation Forest 4 (11-14), LOF 4, Mahalanobis 1 (14), MCD 14, Grubbs 1, ESD 12. Klasik yöntemler maskelenir; sağlam yöntemler (MAD, MCD) 1-14'ün tamamını bulur.

→ Aykırı değer

IQR çarpanı (k)

Kavram: IQR yönteminde sınırlar (Tukey çitleri) birinci çeyreklikten k·IQR aşağıda ve üçüncü çeyreklikten k·IQR yukarıda çizilir. k = 1,5 olağan sınır, k = 3 yalnızca çok uç değerleri yakalayan sıkı sınırdır.

Gündelik örnek: İşlem tutarlarında çeyreklikler 80 TL ve 320 TL ise IQR 240 TL'dir; k = 1,5 ile üst çit 680 TL, k = 3 ile 1.040 TL olur. 1.250 TL'lik hatalı fiş iki durumda da işaretlenir, 700 TL'lik büyük ama olağan bir alışveriş ise yalnızca k = 1,5'te işaretlenir.

Ne işe yarar: Çitler Q1 - k·IQR ve Q3 + k·IQR (çeyrekler doğrusal ara değerlemeyle, Hyndman-Fan tip 7). Zaman serisi yönteminde STL artığına uygulanır.

Sonuca etkisi: Çitler ve bayrak sayısı.

Doğrulama verisinde: hbk: k = 0.5 için 18 anomali; k = 1.5, 3.0 ve 5.0 için 14. AirPassengers STL: k = 1.5 için 23, k = 3.0 için 15.

→ Çeyrekler açıklığı (IQR) ve Tukey çitleri

Z eşiği

Kavram: z-skoru bir değerin ortalamadan kaç standart sapma uzakta olduğunu gösterir; mutlak değeri eşiği aşan gözlemler aykırı sayılır. Ortalama ve standart sapma aykırı değerlerin kendisinden etkilendiği için yöntem maskelenmeye açıktır.

Gündelik örnek: Ortalama işlem 210 TL ve standart sapma 150 TL ise 3 eşiğinde 660 TL'nin üstündeki fişler işaretlenir. Eşik 2'ye indirilirse 510 TL üstü bütün alışverişler şüpheli sayılır ve çok sayıda olağan büyük alışveriş de listeye girer.

Ne işe yarar: |z| > eşik, z = (x - x̄)/s.

Sonuca etkisi: Bayrak sayısı. Yöntem listesindeki etiket seçilen eşiği yazar.

Doğrulama verisinde: hbk: eşik 2.0 için 9 anomali, 3.0 için 1, 5.0 için 0.

→ z-puanı (standartlaştırma)

MAD eşiği

Kavram: Değiştirilmiş z-skoru ortalama yerine medyanı, standart sapma yerine medyan mutlak sapmayı (MAD) kullanır; bu ölçüler aykırı değerlerden pek etkilenmediği için maskelenmeye dayanıklıdır. Yaygın önerilen eşik 3,5'tir.

Gündelik örnek: Hatalı girilmiş birkaç dev fiş ortalamayı şişirse bile medyan işlem tutarı neredeyse değişmez. Bu yüzden MAD yöntemi, z-skorunun gözden kaçırdığı hatalı fişleri de yakalar.

Ne işe yarar: |M| > eşik, M = 0.6745 (x - medyan)/MAD (Iglewicz ve Hoaglin 1993).

Sonuca etkisi: Bayrak sayısı.

Doğrulama verisinde: hbk: 1-14 çok uzak olduğundan 2.0, 3.5 ve 5.0'ın hepsi 14 anomali verir.

→ Ortanca mutlak sapma (MAD) ve değiştirilmiş z-puanı

Contamination (Isolation Forest ve LOF)

Kavram: Contamination, verideki anomali oranı için yapılan ön tahmindir: skorlar sıralanır ve en uç c oranındaki gözlem anomali sayılır. Bu bir veri özelliği değil, kullanıcı varsayımıdır; işaretlenen sayı yaklaşık c·n'dir.

Gündelik örnek: Market yönetimi işlemlerin yaklaşık %1'inin hatalı olduğunu düşünüyorsa c = 0,01 girer ve 10.000 işlemden en tuhaf görünen yaklaşık 100 tanesi incelemeye alınır. c = 0,05 girilseydi 500 işlem incelenecekti.

Ne işe yarar: Skorların (1 - c) yüzdeliği eşik olur; anomali sayısı yaklaşık c·n.

Sonuca etkisi: Bayrak sayısı.

Doğrulama verisinde: hbk: c = 0.001 için 1, 0.05 için 4, 0.10 için 8, 0.20 için 15.

→ İzolasyon ormanı ve kirlilik (contamination) oranı

LOF komşu sayısı

Kavram: LOF bir noktanın çevresindeki yoğunluğu, komşularının çevresindeki yoğunlukla karşılaştırır; komşularına göre çok seyrek bir bölgede kalan nokta yüksek puan alır. Komşu sayısı k, 'yerel'in ne kadar geniş tanımlandığını belirler.

Gündelik örnek: Hafta içi küçük sepetler ve hafta sonu büyük aile alışverişleri iki ayrı yoğun bölge oluşturuyorsa, LOF büyük sepeti yalnızca büyük olduğu için değil, hiçbir gruba yakın olmadığında aykırı sayar. Çok küçük k tek tük benzer işlemleri de 'normal' bir küme sanabilir.

Ne işe yarar: LOF için komşu sayısı k.

Sonuca etkisi: LOF skorları.

Doğrulama verisinde: hbk: k = 5, 20 ve 50'de bayraklar (11-14) değişmez; LOF skorları her noktanın k en yakın komşusuyla hesaplanır.

→ En yakın komşu sayısı (k) ve komşuluk grafiği

Mahalanobis/MCD eşiği (α)

Kavram: Mahalanobis uzaklığı (D²) bir gözlemin merkeze uzaklığını, değişkenlerin varyanslarını ve aralarındaki korelasyonu hesaba katarak ölçer. Çok değişkenli normallik altında D² ki-kare dağılımına uyduğundan α, bu dağılımdaki eşiği belirler; MCD aynı uzaklığı aykırılardan etkilenmeyen dayanıklı bir merkez ve kovaryansla hesaplar.

Gündelik örnek: Ürün sayısı arttıkça indirimin de artması olağandır; 3 ürüne 400 TL indirim ise bu ilişkiye uymaz. Mahalanobis uzaklığı bu fişi büyük bulur; α küçültüldükçe yalnızca en uç birleşimler işaretlenir.

Ne işe yarar: D² > χ²(p; 1 - α) eşiği.

Sonuca etkisi: Bayrak sayısı.

Doğrulama verisinde: hbk Mahalanobis: α = 0.0001 ve 0.001 için 1 (14); 0.05 için 2 (12, 14). MCD üç α'da da 1-14. Klasik D² örneklem ortalaması ve kovaryansıyla hesaplanır.

→ Mahalanobis uzaklığı

Grubbs/ESD α ve k

Kavram: Grubbs testi verinin normal dağıldığını varsayarak en uç tek değerin aykırı olup olmadığını sınar. Rosner ESD testi bu işlemi en çok k aykırıya kadar adım adım tekrarlar ve birden fazla aykırı olduğunda Grubbs'ın düştüğü maskeleme tuzağına daha az düşer; α her adımdaki anlamlılık düzeyidir.

Gündelik örnek: Bir şubenin bir aylık günlük ciroları normal dağılıyorsa Grubbs en yüksek günün olağandışı olup olmadığını söyler. Ayın içinde birkaç tuhaf gün olabileceği düşünülüyorsa ESD ile en çok k = 5 aykırı aranır.

Ne işe yarar: Grubbs ve Rosner ESD testlerinde anlamlılık düzeyi ve ESD'de en fazla aranacak aykırı sayısı k.

Sonuca etkisi: Tespit edilen aykırı sayısı.

Doğrulama verisinde: Rosner verisi: ESD α = 0.01 için 0, 0.05 için 3 (52-54. gözlemler), 0.20 için 6; ardışık Grubbs α = 0.05 için 0 (maskeleme). Her adımın R_i ve λ_i değerleri raporlanır.

→ Anlamlılık düzeyi (α)

Sıra/tarih sütunu ve periyot (zaman serisi yöntemi)

Kavram: Zaman serisi yöntemi önce seriyi trend ve mevsim bileşenlerine ayırır, sonra kalan artıklarda IQR ölçütüyle aykırı arar. Böylece mevsim gereği yüksek ya da düşük olan dönemler değil, kendi mevsimine göre olağandışı olan dönemler işaretlenir; sıra sütunu ve periyot bu ayrıştırmayı tanımlar.

Gündelik örnek: Bayram öncesi günlerde market cirosu her yıl yükselir; bu yükseliş mevsim bileşeni tarafından açıklandığı için anomali sayılmaz. Sıradan bir Salı'da ciro birden yarıya düşerse artık büyük olur ve o gün işaretlenir; belki bir kasa arızası vardır.

Ne işe yarar: STL + IQR yönteminde sıralama sütunu ve mevsim periyodu m (0 = tarih sıklığından otomatik). Alt-saatlik sıklıkta günlük döngü 1440/k (30 dakikada 48) kullanılır.

Sonuca etkisi: Yalnızca bu yöntemde STL artıkları ve bayraklar; diğer yöntemlerde sıra sütunu etkisizdir.

Doğrulama verisinde: AirPassengers otomatik periyot 12 için 23 anomali, m = 6 için 20. nyc_taxi (30 dakikalık) periyot 48: 2049 anomali (yüzde 19.9; STL, m = 48).

Isolation Forest ağaç sayısı ve tohum

Kavram: Isolation Forest veriyi rastgele bölen çok sayıda ağaç kurar; az sayıda bölmeyle diğerlerinden ayrılabilen nokta anomali sayılır. Ağaç sayısı arttıkça puanlar kararlılaşır; tohum, rastgele bölmelerin başlangıç noktasıdır ve aynı tohum aynı sonucu verir.

Gündelik örnek: 3 ürünlük sepete 400 TL indirim gibi bir işlem, birkaç rastgele kesimle tek başına bir kutuya düşer; olağan bir sepet ise çok sayıda kesimden sonra ancak yalnız kalır. Denetçi aynı tohumu kullanırsa aynı listeyi yeniden elde eder.

Ne işe yarar: Ormandaki ağaç sayısı ve rastgele tohum.

Sonuca etkisi: Skorlar; bayrak kümesi bu veride değişmez.

Doğrulama verisinde: hbk: 50, 200 ve 1000 ağaç, tohum 7 ve 42: aynı 4 bayrak (11-14). Aynı tohum aynı sonucu verir; farklı tohum skorları değiştirir.

→ İzolasyon ormanı ve kirlilik (contamination) oranı

Ek çıktılar: Anomali gerekçesi, Veri setine kaydet

Kavram: Gerekçe, bir gözlemin hangi değişken(ler) nedeniyle ve ne ölçüde aykırı sayıldığını açıklar. Kaydetme seçeneği işaret ve puan sütunlarını veri setine ekler; böylece aykırılarla sonraki analizlerde ne yapılacağı (inceleme, düzeltme, dışlama, duyarlılık analizi) belgelenmiş olur.

Gündelik örnek: Liste denetçiye yalnızca '57 numaralı fiş aykırı' demez, 'indirim, ürün sayısına göre olağandışı yüksek' der. İşaret sütunu eklenince yönetim analizleri bu fişlerle ve bunlar olmadan iki kez çalıştırıp sonucun değişip değişmediğine bakabilir.

Ne işe yarar: Gerekçe, anomaliyi bayraklayan değişken(ler)i ve z değerini yazar. Kaydet, anomaly_flag ve varsa skor, uzaklık, p ve gerekçe sütunlarını veri setine ekler.

Sonuca etkisi: Yalnız ek çıktı.

Doğrulama verisinde: hbk gözlem 14: "X2 (z=+3.45)". Kaydedilen satır sayısı ve değerler tabloyla aynıdır.

Gerçek veride örnek

Veri: hbk, Hawkins, Bradu ve Kass 1984, R robustbase

Değişkenler: özellikler X1, X2, X3 (yapay veri; 1-14. gözlemler aykırı)

  • Soru: Hawkins-Bradu-Kass verisinde (n = 75; X1, X2, X3) hangi gözlemler aykırıdır?
  • Yöntem: IQR (Tukey çitleri, k = 1.5, tip 7 çeyrekler); herhangi bir değişkende Q1 - 1.5 IQR ya da Q3 + 1.5 IQR dışında kalan satır anomali sayılır.
  • Sonuç: 14 anomali (%18.67), 1-14. gözlemler; üç değişkenin her birinde aynı 14 satır çit dışındadır (X1 çitleri -2.525 ve 6.475).
  • Betimsel: X1 için Q1 = 0.85, Q3 = 3.10; X2 için 1.10 ve 3.25; X3 için 0.90 ve 3.00.
  • Sınırlılık: Anomali oranı %10'dan yüksektir; bu küme veri yapısının bir parçası (ayrı bir küme) olabilir. Klasik z ve Mahalanobis yöntemleri maskelenmeyle yalnız 14. gözlemi bulur, sağlam yöntemler (MAD, MCD) 1-14'ü bulur.
  • APA: IQR ölçütüyle (k = 1.5) 75 gözlemden 14'ü (%18.7) aykırı olarak işaretlenmiştir.

İlgili kavramlar

Ortanca mutlak sapma (MAD) ve değiştirilmiş z-puanıÇeyrekler açıklığı (IQR) ve Tukey çitleriİzolasyon ormanı ve kirlilik (contamination) oranıMahalanobis uzaklığıYerel aykırılık faktörü (LOF)Aykırı değerGrubbs ve genelleştirilmiş ESD testleriEn küçük kovaryans determinantı (MCD) ve sağlam uzaklık

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.