MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Normallik Testleri

Normallik Testlerianaliz

Bir sayısal değişkenin değerlerinin normal (çan eğrisi biçimli) bir dağılımdan gelmiş olabileceği varsayımını sınayan testler ve grafikler.

Kavram

t-testi, ANOVA ve doğrusal regresyon gibi birçok parametrik yöntem, verinin (ya da modelin artıklarının) yaklaşık normal dağıldığını varsayar. Normallik testleri bu varsayımın ne kadar makul olduğunu denetler ve parametrik bir yöntemle mi yoksa parametrik olmayan bir karşılığıyla mı devam edileceğine karar vermeye yardım eder.

Bütün normallik testlerinde sıfır hipotezi 'veri normal dağılımdan gelmektedir' şeklindedir. Testler farklı açılardan bakar: Shapiro-Wilk sıralanmış verinin normal dağılımın beklenen sıralı değerleriyle ne kadar uyumlu olduğunu ölçer; Kolmogorov-Smirnov ve Anderson-Darling gözlenen birikimli dağılımı normal dağılımın birikimli eğrisiyle karşılaştırır (Anderson-Darling kuyruklara daha fazla ağırlık verir); D'Agostino K² ve Jarque-Bera ise çarpıklık ve basıklığın normal dağılımdaki değerlerinden sapmasına bakar. p < α ise normallik reddedilir.

Testlerin gücü örneklem büyüklüğüne sıkı sıkıya bağlıdır. Küçük örneklemde belirgin sapmalar bile yakalanamayabilir; büyük örneklemde ise pratikte önemsiz sapmalar anlamlı çıkar. Normalliğin reddedilmemesi normalliği kanıtlamaz. Bu nedenle karar yalnız p değerine değil, Q-Q grafiğine, çarpıklık ve basıklığın büyüklüğüne ve kullanılacak yöntemin normallik ihlaline ne kadar dayanıklı olduğuna birlikte bakılarak verilir.

Ne zaman kullanılır?

  • t-testi, ANOVA ya da regresyon gibi normallik varsayan bir yöntemi uygulamadan önce, ilgili değişkenin ya da her grubun dağılımını denetlemek için.
  • Küçük ve orta örneklemlerde Shapiro-Wilk genellikle en güçlü seçenektir; dağılımın kuyruklarındaki sapmalar önemliyse Anderson-Darling tercih edilebilir. Çok büyük örneklemlerde test sonucundan çok Q-Q grafiğine ve sapmanın büyüklüğüne bakılır.
  • Normallik açıkça ihlal edilmiş ve örneklem küçükse Mann-Whitney U, Wilcoxon, Kruskal-Wallis gibi parametrik olmayan yöntemler ya da uygun bir veri dönüşümü düşünülür.

Gündelik bir örnek

Bir fırın, 500 gramlık diye satılan ekmeklerin ağırlığını izlemek için bir günde rastgele 40 ekmeği tartıyor. Ortalama ağırlığı hedefle t-testiyle karşılaştırmadan önce ağırlıkların çan eğrisine benzer biçimde dağılıp dağılmadığına bakılır. Shapiro-Wilk testi p = 0,41 verirse normal dağılımdan belirgin bir sapma görülmez ve t-testine güvenle geçilebilir. Ama fırının biri ekmekleri sürekli eksik pişiriyor ve bu ekmekler belirgin biçimde ağır kalıyorsa dağılım sağa doğru uzar, test p = 0,003 verir ve Q-Q grafiğinin sağ ucunda noktalar çizgiden kopar.

MerQur'da parametreler

Sütun (sayısal sütun listesi)

Kavram: Normallik bir değişkenin dağılımının özelliğidir; bu yüzden test, sınanacak tek bir sayısal değişken üzerinde yapılır. Eksik değerler dağılım hakkında bilgi taşımadığından hesaba katılmaz.

Gündelik örnek: Fırının veri dosyasında ekmek ağırlığı, pişirme süresi ve fırın numarası vardır. Ağırlığın dağılımı merak ediliyorsa test ağırlık sütununa uygulanır; tartılmayı unutulmuş iki ekmek hesaptan düşer.

Ne işe yarar: Test edilecek sayısal sütunu seçer; eksik değerler atılır (airquality Ozone n = 116).

Sonuca etkisi: Tüm testler seçili sütuna uygulanır.

Doğrulama verisinde: 22 sütunda n, ortalama, SS, çarpıklık (G1), basıklık (G2) ve z değerleri hesaplanır; enroll için G1 1.349 (SE .122), G2 3.108 (SE .243).

α (alfa)

Kavram: Anlamlılık düzeyi α, 'normal değil' kararı için kabul edilen yanlış alarm riskidir. p değeri α'dan küçükse normallik reddedilir; α'yı küçültmek kararı daha temkinli hâle getirir ama gerçek sapmaları kaçırma riskini artırır.

Gündelik örnek: α = 0,05 ile p = 0,03 çıkan ekmek ağırlıkları 'normal değil' sayılır; α = 0,01 seçilseydi aynı sonuç 'normal' kabul edilirdi. Bu yüzden α, sonuca bakmadan önce belirlenmelidir.

Ne işe yarar: Her test satırında p > α ise "Normal", aksi halde "Normal değil" kararı verir; genel karar tümü normal, hiçbiri normal değil veya karışık (Belirsiz) olarak özetlenir.

Sonuca etkisi: İstatistik ve p değişmez; yalnız işaretler ve genel karar değişir.

Doğrulama verisinde: hsb2 math için S-W p .0021, K-S p .0160, D'Agostino p .0067: α .05 ve .10'da "Normal değil", α .01'de Belirsiz (Lilliefors normal, diğerleri değil).

→ Anlamlılık düzeyi (α)

Gruba göre ((Gruplama yok) / kategorik veya sayısal kodlu faktör)

Kavram: t-testi ve ANOVA gibi yöntemler normalliği her grubun kendi içinde varsayar; bu nedenle normallik tüm veride değil, her grup için ayrı ayrı sınanır. Birleştirilmiş veride iki grubun karışımı, gruplar tek tek normal olsa bile normal dışı görünebilir.

Gündelik örnek: Fırında iki fırın varsa ve biri ekmekleri ortalama 495 g, diğeri 510 g çıkarıyorsa tüm ekmekler bir arada iki tepeli bir dağılım çizebilir. Her fırının ekmekleri ayrı sınandığında ikisi de normal çıkabilir.

Ne işe yarar: Her grup düzeyinde aynı testleri ayrı çalıştırır.

Sonuca etkisi: Tablo sekmesi grup x test biçimindedir.

Doğrulama verisinde: hsb2 write x female: kadın n = 109, S-W W .9459, p .0002; erkek n = 91, W .9499, p .0015. PlantGrowth 3 x 10: S-W p .7475 / .4519 / .5643.

Testler: Shapiro-Wilk, K-S (Lilliefors), Anderson-Darling, D'Agostino K², Jarque-Bera, Cramér-von Mises, Shapiro-Francia (onay kutuları)

Kavram: Her test normallikten sapmanın farklı bir yüzüne duyarlıdır: Shapiro-Wilk ve Shapiro-Francia sıralı değerlerin uyumuna, Kolmogorov-Smirnov, Anderson-Darling ve Cramér-von Mises birikimli dağılımlar arasındaki farka, D'Agostino K² ve Jarque-Bera çarpıklık ve basıklığa bakar. Testlerin farklı karar vermesi, sapmanın sınırda ya da belirli bir türde olduğunu gösterir.

Gündelik örnek: Ekmek ağırlıklarında yalnız birkaç çok ağır ekmek varsa kuyruklara duyarlı Anderson-Darling bunu yakalarken Kolmogorov-Smirnov kaçırabilir. 40 ekmeklik bir örneklemde Shapiro-Wilk çoğu zaman tek başına iyi bir başlangıçtır.

Ne işe yarar: Hiçbiri işaretli değilse seçim n'ye göre otomatiktir (n < 50 S-W; 50-299 S-W + K-S; n >= 300 K-S + A-D; n >= 20 ise ayrıca D'Agostino). İşaretlenirse yalnız seçilenler çalışır; asgari n'nin altındaki ve n > 5000'deki S-W/S-F testleri gerekçesiyle atlanır.

Sonuca etkisi: Yalnız hangi testlerin raporlandığı ve genel karar değişir; her testin istatistiği ve p değeri diğer seçimlerden bağımsızdır.

Doğrulama verisinde: hsb2 write (n = 200): S-W W .94703, p 9.87e-07; Lilliefors D .13433, p 2.21e-09; Anderson-Darling A² 3.25904, p 3.444e-08; D'Agostino K² 18.9923, p 7.51e-05; Jarque-Bera 12.4614, p .00197.

→ Normallik varsayımı

2. grafik (Q-Q, Eğilimden arındırılmış Q-Q, P-P, Kutu grafiği)

Kavram: Normal olasılık grafikleri, testin tek bir sayıya indirgediği bilgiyi görünür kılar. Q-Q grafiğinde normal veri düz bir çizgi üzerinde dizilir; eğilimden arındırılmış Q-Q bu çizgiden sapmaları yatay bir eksen etrafında büyüterek gösterir; P-P grafiği birikimli olasılıkları karşılaştırır ve dağılımın ortasındaki sapmalara daha duyarlıdır; kutu grafiği ise çarpıklığı ve aykırı değerleri gösterir.

Gündelik örnek: Ekmek ağırlıklarının Q-Q grafiğinde noktalar ortada çizgiyi izleyip sağ uçta yukarı kıvrılıyorsa sorun birkaç ağır ekmektir. Kutu grafiğinde de bu ekmekler üst bıyığın ötesinde tek tek noktalar olarak görünür.

Ne işe yarar: Normal olasılık grafiği türlerinden birini çizer. Q-Q, eğilimden arındırılmış Q-Q ve P-P Blom konumlarını ve standartlaştırılmış gözlemi kullanır; histogramdaki normal eğri σ = s (ddof = 1) ile çizilir.

Sonuca etkisi: Yalnız grafik; testler değişmez.

Doğrulama verisinde: hsb2 write için normal eğri σ = 9.4786.

→ Q-Q ve P-P grafikleri

Toplu test (ek sütunlar)

Kavram: Aynı normallik denetimini birden çok değişkene birlikte uygulamaktır. Çok sayıda test yapıldığında bazılarının yalnız şans eseri anlamlı çıkabileceği akılda tutulmalıdır.

Gündelik örnek: Fırın ağırlığın yanında ekmeğin boyunu ve kabuk kalınlığını da ölçtüyse üçünün normalliği tek seferde denetlenir. On değişken sınanırsa, hepsi normal olsa bile α = 0,05 düzeyinde ortalama yarım tanesinin şans eseri 'normal değil' çıkması beklenir.

Ne işe yarar: Seçilen ek sütunlar için aynı testleri tek çalıştırmada üretir.

Sonuca etkisi: Her sütunun sonucu tek başına çalıştırılmış sonuçla aynıdır.

Doğrulama verisinde: write + read, math, science, socst: değerler tek tek çalıştırmayla aynıdır.

Tek örneklem K-S, diğer dağılımlar: Tekdüze (uniform), Üstel, Poisson; K-S tekdüze parametreleri, K-S üstel ortalaması, K-S Poisson ortalaması, K-S p (parametre veriden) (Monte Carlo (SPSS 27), Asimptotik (parametre biliniyormuş gibi)), K-S Monte Carlo örneklem sayısı, K-S Monte Carlo tohumu

Kavram: Tek örneklem Kolmogorov-Smirnov testi, gözlenen birikimli dağılımı normal dışında herhangi bir kuramsal dağılımla da karşılaştırabilir: tekdüze dağılım her değerin eşit olası olduğu, üstel dağılım olaylar arası bekleme süreleri, Poisson dağılımı belli bir sürede gerçekleşen olay sayıları için tipik modellerdir. Dağılımın parametreleri veriden kestirildiğinde klasik p değeri fazla iyimser olur; bu yüzden p, Monte Carlo benzetimiyle hesaplanabilir.

Gündelik örnek: Fırın müdürü sabah müşterilerinin rastgele geldiğini düşünüyorsa her 5 dakikada gelen müşteri sayısı Poisson, iki müşteri arasındaki süre üstel dağılmalıdır. K-S testi bu beklentinin veriyle uyuşup uyuşmadığını söyler; uyuşmuyorsa müşteriler belki servis otobüsüyle gruplar hâlinde gelmektedir.

Ne işe yarar: Örneklemi tekdüze, üstel veya Poisson dağılıma karşı sınar. Boş parametreler veriden kestirilir. D, D+, D-, Z = √n·D verilir; p Monte Carlo (varsayılan 10000 örneklem, tohum 2000000, %99 GA) veya asimptotiktir. Normallik genel kararına katılmaz.

Sonuca etkisi: Yalnız ayrı bir çıktı bölümü eklenir. Parametre veriden kestirildiğinde asimptotik p tutucudur (Lilliefors etkisi); bu nedenle varsayılan Monte Carlo'dur.

Doğrulama verisinde: faithful$eruptions (tekdüze, a = 1.6, b = 5.1): D = 0.2005, Z = 3.3067307. aircondit (üstel, n = 12): Monte Carlo p 0.5298 [0.5169, 0.5427]; asimptotik p 0.7939.

→ Kolmogorov-Smirnov testi ve Lilliefors düzeltmesi

Gerçek veride örnek

Veri: UCLA OARC hsb2 (High School and Beyond, n = 200)

Değişkenler: sütun write (yazma puanı)

  • Soru: Öğrencilerin yazma puanı (write, n = 200) normal dağılımdan gelmiş olabilir mi?
  • Sonuç: Üç test de normalliği reddeder: Shapiro-Wilk W = 0.9470, Kolmogorov-Smirnov (Lilliefors) D = 0.1343, D'Agostino-Pearson K² = 18.99; üçünde de p < .001. Genel karar: normal değil.
  • Kaynak: Çarpıklık = -0.482 (SE = 0.172, z = -2.80) ve basıklık = -0.750 (SE = 0.342, z = -2.19); dağılım hafif sola çarpık ve basıktır.
  • Yorum: Sapma ılımlıdır; büyük örneklemde (n = 200) normallik testleri küçük sapmaları da anlamlı bulur. Karar Q-Q grafiği ve çarpıklık-basıklık büyüklüğüyle birlikte verilmelidir.
  • Sonraki adım: Ortalama karşılaştırmalarında n büyük olduğundan t/ANOVA sağlamdır; küçük gruplarda parametrik olmayan karşılıklar (Mann-Whitney U, Wilcoxon, Kruskal-Wallis, Friedman) düşünülmelidir.
  • APA: Shapiro-Wilk testi yazma puanlarının normal dağılmadığını gösterdi, W = 0.947, p < .001.

İlgili kavramlar

Q-Q ve P-P grafikleriNormallik varsayımıAnlamlılık düzeyi (α)Anderson-Darling testiHistogram ve kutu (bin) sayısıKolmogorov-Smirnov testi ve Lilliefors düzeltmesiD'Agostino K² testiKutu grafiği (kutu-bıyık)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.