23. İşaret Testi
Analiz kimliği: sign_test · Menü adı: İşaret Testi · Panel ve motor: gui/panels/analyses/sign_test.py, execute (satır 136–265); sonuç metni build_body_text (293–356)
23.1 Ne işe yarar
İşaret testi, eşleştirilmiş iki ölçüm arasındaki farkların yalnız işaretine bakarak farkların medyanının sıfır olup olmadığını sınar. Farkın büyüklüğünü kullanmaz; her çift için "1. ölçüm büyük mü, küçük mü?" sorusunun cevabını sayar. Cevapladığı soru şudur: "Pozitif ve negatif farklar yarı yarıya mı?"
- x_{1i},\ x_{2i}: i. birimin "Sütun 1" ve "Sütun 2" değeri; fark yönü her zaman Sütun 1 − Sütun 2'dir.
- P(d>0): sıfır olmayan bir farkın pozitif olma olasılığı. Sıfır farklar teste girmez.
H_0 altında sıfırdan farklı n_e farkın pozitif olanlarının sayısı n_+\sim\text{Binom}(n_e,\,1/2) dağılır. Test, bu sayı üzerinde yapılan kesin binom testidir (Bölüm 22'deki binom testinin p_0=1/2 hâli). İstatistik tarihinin ilk anlamlılık testi sayılan Arbuthnott'un (1710) Londra doğum kayıtları çözümlemesi de bir işaret testidir.
Ne zaman kullanılır? Öncesi–sonrası, iki gözlemci, iki cihaz gibi eşleşik tasarımlarda; farkların yalnız yönü güvenilirse (ör. "iyileşti / kötüleşti" değerlendirmesi, ölçeği tutarsız puanlar), farklar belirgin çarpık ya da aykırı değerliyse; ya da ölçüm sıralı ama farkların büyüklükleri karşılaştırılamıyorsa.
Ne zaman kullanılmaz?
- Farkların büyüklükleri anlamlı ve dağılımları kabaca simetrikse: Wilcoxon İşaretli Sıra (Bölüm 19) daha güçlüdür; normalse Eşleştirilmiş t Testi (Bölüm 6).
- Gruplar bağımsızsa: Mann-Whitney U (Bölüm 18).
- Ölçüm ikili (evet/hayır) ise ve iki ölçüm arası geçişler soruluyorsa: McNemar testi (işaret testinin ikili veri hâli).
- Tek bir sütunun medyanını sabit bir değerle sınamak için bu modül doğrudan kullanılamaz; ikinci sütun o sabitle doldurulmalıdır.
Sık karıştırılan analizler. Binom testi bir oranı verilen değerle karşılaştırır; işaret testi aynı hesabı farkların işaretlerine uygular. Wilcoxon işaretli sıra testi işaretlere ek olarak \lvert d\rvert sıralarını kullanır ve simetri varsayar; işaret testi simetri varsaymaz.
23.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Eşleşme | Aynı satır aynı birimin iki ölçümüdür. | Tasarımla sağlanır; aynı sütun iki kez seçilemez (sign_test.py:150–151; stats_panel.py:5292–5294). |
| Birimler arası bağımsızlık | Çiftler birbirini etkilemez. | Denetlenmez. |
| En az sıralı ölçek | Her çiftte hangi ölçümün büyük olduğu söylenebilir. | Sütunlar pd.to_numeric(..., errors="coerce") ile sayıya çevrilir. |
| Sürekli dağılım (kuramsal) | Sıfır fark olasılığı sıfırdır. | Pratikte sıfırlar atılır; oranı %20'yi aşarsa uyarı. |
Normallik ve simetri gerekmez.
Eksik değer. İki sütundan biri eksik ya da sayıya çevrilemeyen satır atılır (sign_test.py:153–156). "Toplam çift" bu satır sayısıdır.
Uç durumlar.
- Geçerli çift yoksa ya da tüm farklar sıfırsa hata (
sign_test.py:159–160,169–172). - Sıfır farkların oranı %20'yi aşarsa uyarı (
sign_test.py:233–240). - n_e<10 ise "küçük örneklem" uyarısı (
sign_test.py:241–244). Kesin binom testi her n_e'de geçerlidir; uyarı yalnız olası p değerlerinin kaba (kesikli) olduğunu hatırlatır. - Çok küçük n'de GA sırası k, n-k+1'i aşarsa en uç sıra istatistikleri kullanılır (
sign_test.py:218–219).
23.3 Parametreler
Varsayılanlar sign_test.py:82–131 içinden okunmuştur.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Sütun 1 / Sütun 2 | ilk iki sayısal sütun | Tek bir çift; çoklu çift yoktur. | Sütun yeri farkın yönünü, n_+'yı ve tek yönlü hipotezi belirler. |
| Güven Düzeyi | %95 | \alpha=1-\text{düzey}. | Karar ve medyan farkın GA sırası k. |
| Hipotez yönü | Çift yönlü (≠) | Sağ ("büyük"): H_1 Sütun 1 > Sütun 2 farkları baskın; sol: tersi. | p tek kuyruktan; GA tek taraflı olur (öbür sınır \pm\infty). |
| Ek çıktılar: Etki büyüklüğü | kapalı | Pozitif fark oranı ve Cohen g. | Ek satır. |
| Ek çıktılar: Büyük örneklem Z | kapalı | Süreklilik düzeltmeli normal yaklaşım. | Ek satır; karar kesin p'ye dayanır. |
Güven düzeyi neden tam tutturulamaz?
Medyan farkın dağılımdan bağımsız GA'sı iki sıra istatistiği arasındadır; kapsama olasılığı binom dağılımının kesikli değerlerinden birine eşittir. %95 istendiğinde ulaşılabilir en yakın en az %95 düzey seçilir; bu veride %96,4'tür. MerQur GA etiketini istenen düzeyle değil, gerçekleşen düzeyle yazar ("%96.4 GA") ve bir not satırı ekler (sign_test.py:268–273, 313–316). Güven düzeyi değiştirildiğinde GA, ancak k değişirse değişir.
23.4 Tıp örneği
Dosya: english/datasets/Tip/19_sign_test_diet_weight.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/19_sign_test_diyet_kilo.xlsx).
| Değişken | Rol | Tür | Açıklama |
|---|---|---|---|
weight_before_kg |
Sütun 1 | sürekli (kg, 1 ondalık) | Diyet öncesi; ortalama 83,31, SS 12,65 |
weight_post_kg |
Sütun 2 | sürekli | Diyet sonrası; ortalama 79,38, SS 13,20 |
patient_id, diet_week |
kullanılmaz | diet_week 8–15 hafta |
n ve eksik değer: 28 hasta, eksik değer yok. Farklardan biri sıfır, biri negatif (-0{,}2 kg), 26'sı pozitiftir.
Klinik soru: Diyet sonrasında hastaların kilosu düştü mü? (VIDEO_SCRIPT_TR.txt, #19.)
Seçilen ayarlar: Arayüz varsayılanları. Sayısal yürüyüş için iki ek çıktı kutusu açık; sağ ve sol yönlü ve %99 güven düzeyiyle ek çalıştırmalar yapılmıştır.
Şekil 23.1. Küçükten büyüğe sıralanmış 28 fark. Mor noktalar pozitif, turuncu negatif, gri sıfır fark. Yatay çizgi medyan fark, gölgeli bant d_{(9)} ile d_{(20)} arasındaki %96,4 GA.
23.5 Formüller ve hesap adımları
MerQur'un sırası şudur: (1) iki sütunu sayıya çevir, eksik çiftleri at, (2) farkları hesapla, sıfırları say, (3) n_+ ve n_-'yi say, (4) n_+ üzerinde kesin binom testi yap (scipy.stats.binomtest), (5) istenirse etki büyüklüğü ve Z'yi ekle, (6) tüm farklardan medyan farkı ve sıra istatistiği GA'sını kur, (7) uyarıları ekle.
23.5.1 İşaretler ve kesin binom p'si
- n_e: etkin n (sıfırsız fark sayısı); çıktıda "Etkin n (≠ 0)".
- p_{\text{çift}}: p_0=1/2'de binom dağılımı simetrik olduğundan scipy'nin "gözlenenden olasılığı küçük ya da eşit sonuçlar" tanımı küçük kuyruğun iki katına eşittir.
- p_{\text{sağ}}: H_1 "Sütun 1 büyük"; sol yönlü p_{\text{sol}}=P(B\le n_+).
Sıfır farklar neden atılır?
Sıfır fark ne pozitif ne negatiftir; H_0 altında işaretlerin \pm eşit olasılıklı olduğu varsayımı ona uygulanamaz. Dixon ve Mood'un (1946) önerisi sıfırları atmaktır; bu, n'i küçültür ve testi biraz tutucu ya da serbest yapabilir. Sıfırlar çoksa (MerQur'da n_0/n>0{,}20) sonuç bu tercihe duyarlıdır ve uyarı verilir. Uyarı metni Wilcoxon'u önerir; ama Wilcoxon'un varsayılan (wilcox) yöntemi de sıfırları atar; sıfırları kullanan seçenek Pratt'tır (Bölüm 19.5.2).
23.5.2 Medyan fark ve dağılımdan bağımsız güven aralığı
Medyan fark ve GA, sıfırlar dâhil tüm n farktan kurulur (sign_test.py:205–230):
- d_{(k)}: sıralı farkların k. küçüğü.
- q(\alpha/2): R
qbinomtanımı, P(B\le k)\ge\alpha/2 olan en küçük k. - Tek yönlü seçimde k=q(\alpha), gerçekleşen düzey 1-P(B\le k-1); sağ yönlüde yalnız alt sınır d_{(k)}, sol yönlüde yalnız üst sınır d_{(n-k+1)} verilir.
Neden bu aralık medyanı kapsar?
Evren medyanı \theta ise her farkın \theta'nın altında kalma olasılığı 1/2'dir. d_{(k)}>\theta olması, n farktan en çok k-1'inin \theta'nın altında kalması demektir; olasılığı P(B\le k-1)'dir. Simetrik olarak d_{(n-k+1)}<\theta olasılığı da aynıdır. İkisi çıkarılınca kapsama 1-2P(B\le k-1) olur. Hesap dağılımın biçimine dayanmaz; bu yüzden "dağılımdan bağımsız" GA'dır (Conover 1999).
Koddaki tercih
Test istatistiği sıfırları dışlar (n_e=27), medyan ve GA sıfırları içerir (n=28). Bu, R DescTools::SignTest ve MedianCI(method = "exact") tanımıdır; MerQur çıktıda bunu ayrı bir not satırıyla belirtir (res_sign_test_median_ci_note). GA'yı yalnız sıfırsız farklardan kurmak bu tanımdan sapar (sign_test.py:199–204). Sol yönlü tek taraflı GA'da MerQur simetrik d_{(n-k+1)}'i kullanır; DescTools::MedianCI(sides = "right") bir sıra kayık sınır verir (sign_test.py:213–215).
23.5.3 Etki büyüklüğü ve büyük örneklem Z'si
- g: Cohen'in (1988) işaret testi etki büyüklüğü; MerQur işaretli verir (+: Sütun 1 büyük). Cohen'in eşikleri 0,05 küçük, 0,15 orta, 0,25 büyüktür; MerQur etiket vermez.
- Z: n_+'nın normal yaklaşımı; \sqrt{n_e}/2 binom SS'sidir. Pay 0,5 kadar sıfıra çekilir (süreklilik düzeltmesi); n_+=n_e/2 ise Z=0 (
sign_test.py:185–197). - Z'nin işareti n_+-n_- yönündedir. Tek yönlü Z p'si bu işaretle hesaplanır.
Karar ve "Anlamlı" satırı kesin binom p'sine dayanır; Z satırı yalnız bilgi amaçlıdır.
23.6 Elle hesap: Tıp verisinde sayısal yürüyüş
Ara değerler dogrulama/sign_test/elle_hesap.py ile, MerQur kodu çağrılmadan, binom olasılıkları tam kesirlerle hesaplanmıştır.
Adım 1 — Farklar ve işaretler. Sıralı 28 fark (kg):
-0{,}2; 0; 0{,}1; 0{,}2; 0{,}7; 0{,}8; 1{,}3; 1{,}6; 1{,}9; 1{,}9; 2{,}4; 2{,}5; 2{,}6; 3{,}0; 3{,}3; 3{,}4; 4{,}2; 4{,}4; 5{,}0; 5{,}9; 6{,}1; 6{,}2; 6{,}6; 7{,}0; 7{,}3; 8{,}1; 9{,}7; 14{,}2.
n=28, n_0=1, n_-=1, n_+=26, n_e=27.
Adım 2 — Kesin binom p.
Sağ yönlü (H_1: önce > sonra): p=28/2^{27}=2{,}0862\times10^{-7}. Sol yönlü: p=P(B\le26)=1-1/2^{27}=0{,}9999999925.
Adım 3 — Medyan fark. 28 farkın 14. ve 15. değerleri 3,0 ve 3,3'tür: \tilde d=3{,}15 kg.
Adım 4 — GA sırası ve gerçekleşen düzey. B\sim\text{Binom}(28,\,1/2) için
%99 istendiğinde: P(B\le6)=0{,}001860<0{,}005\le P(B\le7)=0{,}006270, k=7, GA [d_{(7)};\ d_{(22)}]=[1{,}3;\ 6{,}2], düzey 1-2(0{,}001860)=0{,}996281. Sağ yönlü tek taraflı %95: k=q(0{,}05)=10, alt sınır d_{(10)}=1{,}9, düzey 1-P(B\le9)=0{,}956421; sol yönlüde üst sınır d_{(19)}=5{,}0.
Adım 5 — Etki büyüklüğü ve Z.
Normal yaklaşım kesin p'den yaklaşık 9 kat büyüktür: n_e=27'de kuyruk olasılıkları normal eğriyle iyi yakalanmaz. Karar her iki yolda da aynıdır.
23.6.1 Doğrulama: MerQur, Python ve R
MerQur değerleri execute() sonucundan, modül ad alanında round() ve p_store() bellekte etkisizleştirilerek alınmıştır (dogrulama/sign_test/merqur_calistir.py). Python binom olasılıklarını fractions.Fraction ile tam hesaplar; farkları ondalık tabanda tam sayı olarak kurar. R: 4.5.3, binom.test, DescTools::SignTest (medyan fark ve GA). SignTest gerçekleşen düzeyi üç ondalığa yuvarlayarak yazdığından (0,964) R sütunundaki düzey 1-2\,\texttt{pbinom}(k-1,\,n,\,1/2) ile doğrudan hesaplanmıştır.
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| Pozitif fark sayısı n_+ | 26 | 26 | 26 | 0,0e+00 | ✓ |
| Negatif fark sayısı n_- | 1 | 1 | 1 | 0,0e+00 | ✓ |
| Sıfır fark sayısı n_0 | 1 | 1 | 1 | 0,0e+00 | ✓ |
| Kesin binom p (çift yönlü) | 4,1723·10−7 | 4,1723·10−7 | 4,1723·10−7 | 1,6e−21 | ✓ |
| Kesin binom p (sağ yönlü) | 2,0862·10−7 | 2,0862·10−7 | 2,0862·10−7 | 8,2e−22 | ✓ |
| Kesin binom p (sol yönlü) | 1,000000 | 1,000000 | 1,000000 | 4,4e−16 | ✓ |
| Medyan fark (tüm farklar) | 3,150000 | 3,150000 | 3,150000 | 2,2e−15 | ✓ |
| %95 GA alt d_{(k)} | 1,900000 | 1,900000 | 1,900000 | 1,0e−14 | ✓ |
| %95 GA üst d_{(n-k+1)} | 5,900000 | 5,900000 | 5,900000 | 1,1e−14 | ✓ |
| Gerçekleşen kapsama (%95 istenen) | 0,964302 | 0,964302 | 0,964302 | 1,1e−16 | ✓ |
| %99 GA alt | 1,300000 | 1,300000 | 1,300000 | 2,9e−15 | ✓ |
| %99 GA üst | 6,200000 | 6,200000 | 6,200000 | 1,2e−14 | ✓ |
| Gerçekleşen kapsama (%99 istenen) | 0,996281 | 0,996281 | 0,996281 | 2,2e−16 | ✓ |
| Tek yönlü %95 GA alt (sağ yönlü) | 1,900000 | 1,900000 | 1,900000 | 1,0e−14 | ✓ |
| Tek yönlü kapsama | 0,956421 | 0,956421 | 0,956421 | 0,0e+00 | ✓ |
| Tek yönlü %95 GA üst (sol yönlü) | 5 | 5 | — | 0,0e+00 | ✓ |
| Büyük örneklem Z | 4,618802 | 4,618802 | 4,618802 | 4,4e−15 | ✓ |
| Z için p (çift yönlü) | 3,8596·10−6 | 3,8596·10−6 | 3,8596·10−6 | 1,7e−21 | ✓ |
| Pozitif fark oranı | 0,962963 | 0,962963 | — | 0,0e+00 | ✓ |
| Cohen g | 0,462963 | 0,462963 | — | 0,0e+00 | ✓ |
Sonuç: 20 büyüklüğün tamamı ölçütü karşılar. MerQur'un GA sınırlarındaki 10^{-14} düzeyindeki fark, kilo farklarının ikili gösteriminden gelen kayan nokta artığıdır (ör. 1,8999999999999915); gösterimde 4 ondalığa yuvarlanır.
23.7 Çıktıyı okuma
Varsayılan ayarlarla sonuç metni:
══ İŞARET TESTİ (Eşleştirilmiş Medyan) ══
Çift : weight_before_kg − weight_post_kg
Toplam çift : 28
Etkin n (≠ 0) : 27
Eşit (atılan) : 1
Pozitif (weight_before_kg > weight_post_kg) : 26
Negatif (weight_before_kg < weight_post_kg) : 1
Medyan fark : 3.1500
%96.4 GA : [1.9000, 5.9000]
(medyan fark ve GA tüm 28 farktan, sıfırlar dahil; test sıfır olmayan 27 farkı kullanır)
(kesin binom GA; sıra istatistikleri kesikli olduğundan gerçekleşen güven düzeyi %96.4, istenen %95)
── İSTATİSTİK ──
p değeri : 4.172e-07
⚡ KARAR: H₀ reddedildi (p < 0.05). weight_before_kg, weight_post_kg ölçümünden anlamlı şekilde BÜYÜK değerler veriyor.
| Satır | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Toplam çift / Etkin n / Eşit | n, n_e, n_0 | Künyedeki n toplam çift sayısıdır (28); etkin n ayrı satırda yazılır. |
| Pozitif / Negatif | n_+, n_- | Etiket iki sütunun adını yazar. |
| Medyan fark | \tilde d, tüm farklardan | Kilo kaybının medyanı 3,15 kg. |
| %96.4 GA | Sıra istatistiği GA'sı | Etiketteki düzey gerçekleşen düzeydir. |
| p değeri | Kesin binom p | Çok küçükse bilimsel gösterimle (PDisp). |
| KARAR | Yön, n_+ ile n_- karşılaştırılarak | Çift yönlü testte de yön cümlesi yazılır. |
| Ek satırlar | \hat\pi_+, g, Z ve Z'nin p'si | Z yalnız bilgidir. |
| Grafik | Pozitif / negatif / sıfır sıklıkları (çubuk) |
APA biçiminde rapor cümlesi:
Diyet sonrasında 28 hastanın 26'sında kilo azaldı, 1'inde arttı, 1'inde değişmedi. İşaret testine göre azalma anlamlıydı (kesin binom testi, n_+ = 26, n_- = 1, p < 0{,}001). Medyan kilo kaybı 3,15 kg'dı (dağılımdan bağımsız %96,4 GA [1,9; 5,9]).
23.8 Uzman soruları
S1. Test sıfırları atıyor, GA neden sıfırları içeriyor?
Test işaretleri sayar; sıfırın işareti yoktur. Medyan fark ise tüm farkların bir özetidir; sıfırları atmak medyanı yukarı ya da aşağı kaydırır. MerQur R DescTools tanımını izler (sign_test.py:199–204). Bu veride sıfır tek olduğundan etkisi küçüktür; sıfırların çok olduğu veride iki tanım belirgin farklı GA verir.
S2. GA neden %95 değil %96,4?
Kapsama olasılığı 1-2P(B\le k-1)'dir ve yalnız kesikli değerler alır. n=28'de k=9 ile %96,4, k=10 ile %91,3'tür; %95'i sağlayan en dar seçenek %96,4'tür. Etiket bu yüzden gerçekleşen düzeyi yazar. Kimi programlar iki komşu sıra arasında aradeğerleme yapar (Hettmansperger–Sheather); MerQur yapmaz.
S3. İki yönlü p nasıl tanımlanıyor?
scipy binomtest "gözlenenden olasılığı küçük ya da eşit sonuçların toplamı" tanımını kullanır; p_0=1/2'de bu, küçük kuyruğun iki katıdır (en çok 1). R binom.test ile aynıdır.
S4. İşaret testi Wilcoxon'a göre ne kadar güç kaybeder?
Normal farklarda işaret testinin t testine göre asimptotik bağıl etkinliği 2/\pi\approx0{,}64, Wilcoxon'unki 3/\pi\approx0{,}955'tir. Buna karşılık çarpık ya da ağır kuyruklu farklarda işaret testi üstün olabilir (Laplace dağılımında t'ye göre 2,0). Yalnız yön güvenilirse tek seçenektir.
S5. Tüm farklar sıfırsa ya da tek çift varsa?
Tüm farklar sıfırsa hata verilir (sign_test.py:169–172). Tek sıfırsız farkta test çalışır (p=1); n_e=5'te bile en küçük iki yönlü p=2/32=0{,}0625'tir, yani %5'te anlamlılık imkânsızdır. n=5'te GA sırası k=1'e düşer ve gerçekleşen düzey %93,75'tir; MerQur etiketi buna göre "%93.8 GA" yazar.
S6. Z neden pozitif çıkabiliyor?
Bazı uygulamalar Z'yi küçük işaret sayısından kurar ve her zaman negatif verir. MerQur n_+-n_- yönünü korur (Z=+4{,}6188); büyüklük ve iki yönlü p aynıdır. MerQur bunu çıktıda not eder (q1_sign_z_sign_note).
S7. Bir ondalıklı veride kayan nokta artığı sıfırları bozar mı?
Hayır. İki eşit değerin farkı tam 0'dır; sıfır sayısı doğru çıkar. Artık yalnız sıfır olmayan farkların son basamaklarında görülür (1,8999999999999915) ve sıralamayı değiştirmez; gösterimde 4 ondalığa yuvarlanır. Wilcoxon modülü farkları ayrıca arındırır, çünkü orada eşit mutlak farkların bağ olarak tanınması gerekir; işaret testinde böyle bir gereklilik yoktur.
23.9 Sık hatalar ve tuzaklar
- "Medyanlar farklı" ile "farkların medyanı sıfırdan farklı"yı karıştırmak. Test farkların medyanına bakar; iki ölçümün medyanları farkı (84{,}9-80{,}9=4{,}0) ile farkların medyanı (3,15) aynı değildir.
- Sütun sırasını ters seçmek. "Büyük" yönlü hipotez Sütun 1 > Sütun 2 demektir.
- Künyedeki n'yi etkin n sanmak. Künye toplam çift sayısını yazar; testte kullanılan sıfırsız fark sayısı "Etkin n (≠ 0)" satırındadır.
- GA etiketindeki düzeyi yanlış okumak. "%96.4 GA", istenen %95'in yerine gerçekleşen düzeydir.
- Sıfırlar çokken varsayılan Wilcoxon'a geçmek. Varsayılan Wilcoxon da sıfırları atar; uyarının önerdiği gibi Wilcoxon'da Pratt yöntemi seçilmelidir.
- Z satırını karar için kullanmak. Karar kesin binom p'sine dayanır; Z küçük n_e'de kesin p'den belirgin sapar.
- Ölçümün yalnız işareti anlamlı değilken işaret testine başvurmak. Büyüklük bilgisi güvenilirse Wilcoxon ya da t testi daha çok bilgi kullanır.
23.10 Kaynaklar
- Arbuthnott, J. (1710). An argument for divine providence, taken from the constant regularity observ'd in the births of both sexes. Philosophical Transactions of the Royal Society of London, 27(328), 186–190. https://doi.org/10.1098/rstl.1710.0011
- Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum.
- Conover, W. J. (1999). Practical nonparametric statistics (3rd ed.). Wiley.
- Dixon, W. J., & Mood, A. M. (1946). The statistical sign test. Journal of the American Statistical Association, 41(236), 557–566. https://doi.org/10.1080/01621459.1946.10501898
- Gibbons, J. D., & Chakraborti, S. (2011). Nonparametric statistical inference (5th ed.). CRC Press.
- Hollander, M., Wolfe, D. A., & Chicken, E. (2014). Nonparametric statistical methods (3rd ed.). Wiley.