16. Permütasyon Testi
Analiz kimliği: permutation_test · Menü adı: Permütasyon Testi · Panel ve motor: gui/panels/analyses/permutation_test.py, execute (satır 273–481), _execute_kgroup (484–547), _execute_paired (550–625) · Çağrı: gui/panels/stats_panel.py:5461–5490
16.1 Ne işe yarar
Permütasyon testi, iki (ya da daha çok) grup arasındaki farkın yalnız grup etiketlerinin rastlantısal dağılımıyla açıklanıp açıklanamayacağını sınar. H₀ altında etiketler gözlemlere keyfî atanmıştır; o halde etiketleri karıştırarak elde edilen her düzenleme, gözlenen düzenleme kadar olasıdır. Gözlenen farkın bu "karıştırılmış" farklar arasında ne kadar uçta kaldığı p değerini verir (Fisher 1935; Good 2005; Ernst 2004).
Varsayılan iki bağımsız grup deseninde hipotezler şöyledir:
- F_1,F_2: iki grubun evren dağılımları. Test kesin anlamda "dağılımlar aynı" sıfır hipotezini sınar; test istatistiği ortalama farkı olduğu için en çok ortalama farkına duyarlıdır.
- \mu_1,\mu_2: grup ortalamaları; 1. grup veride ilk görülen düzeydir (16.5.1).
Ne zaman kullanılır? Normallik şüpheliyse (çarpık, uç değerli veri), örneklem küçükse ya da t dağılımına dayanmayan, veriye özgü bir p isteniyorsa. Randomize deneylerde, randomizasyonun kendisi testin geçerliliğini sağlar.
Ne zaman kullanılmaz?
- Gözlemler kümeli ya da bağımlıysa (aynı hekimin hastaları): etiketler değiştirilemez; Doğrusal Karma Model.
- Varyanslar ve grup büyüklükleri çok farklıysa ve soru yalnız ortalamalarla ilgiliyse: ortalama farkı istatistiği yerine "Welch t (studentize)" seçilmelidir (16.8 S2).
- Bir parametrenin GA'sı isteniyorsa: Bootstrap Güven Aralığı (Bölüm 15).
- Kovaryat düzeltmesi gerekiyorsa: ANCOVA (Bölüm 14) ya da regresyon.
- Sıra tabanlı ve bağlara dayanıklı bir test isteniyorsa: Mann–Whitney U (sıra verisinin permütasyon testidir).
Sık karıştırılan analizler. Bootstrap, kestiricinin dağılımını kurar ve GA verir; permütasyon testi H₀ altındaki dağılımı kurar ve p verir. MerQur bu modülde ikisini birlikte sunar: p permütasyondan, ortalama farkının GA'sı bootstrap'tan gelir. Mann–Whitney U, sıralar üzerinde kesin permütasyon testidir. Bağımsız t testi, permütasyon dağılımının normal yaklaşımı olarak da görülebilir.
16.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Değiştirilebilirlik | H₀ altında gözlemlerin ortak dağılımı etiket permütasyonlarına göre değişmez. | Denetlenmez; tasarımla sağlanır. Çıktıdaki klasik t satırı ile karşılaştırma yapılabilir. |
| Bağımsızlık | Gözlemler (eşli desende çiftler) birbirinden bağımsızdır. | Denetlenmez. |
| Grup büyüklüğü | İki grup deseninde her grupta en az 3, k grupta her grupta en az 2 gözlem. | Hata (permutation_test.py:332–335, 497–498). |
| Yeterli B | Monte Carlo p'nin belirsizliği B ile azalır. | B<100 hata (permutation_test.py:302–305); B<1000 uyarı (412–415). |
Eksik değer. Bağımlı değişken sayıya çevrilir, sonra [dv, grup] liste bazında silinir; grup değerleri metne çevrilir (permutation_test.py:289–292). Eşli desende iki ölçüm birlikte silinir (permutation_test.py:558).
Uç durumlar.
- İki grup deseninde grup sayısı 2 değilse hata (
permutation_test.py:324–327). - İki grup ve eşli desende bağımlı değişken sabitse (eşlide bütün farklar 0 ise) test tanımsızdır; p=1 yazılmaz, çevrilmiş hata iletisi verilir.
- k grup deseninde bağımlı değişken sabitse hata (
permutation_test.py:505–506); grup içi varyans 0 ise F=\infty kabul edilir ve "—" ile dipnot yazılır (permutation_test.py:513,723–725). - Kesin test istenip atama sayısı 500 000'i (eşlide 2^{20}) aşarsa Monte Carlo'ya geçilir ve uyarı yazılır (
permutation_test.py:197,355–362,570–576). - k grup deseninde kesin test yoktur; "Kesin" seçilirse uyarıyla Monte Carlo kullanılır (
permutation_test.py:528–531). - En küçük grup n<10 ise uyarı (
permutation_test.py:437–442).
16.3 Parametreler
Varsayılanlar permutation_test.py:94–194 (form) ve stats_panel.py:5461–5490 (çağrı) satırlarından okunmuştur.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Bağımlı değişken | ilk sayısal sütun | Karşılaştırılan sürekli değişken. | — |
| Grup değişkeni | ilk kategorik sütun | İki ya da k düzeyli grup. Sayısal kodlu grup sütunları da listelenir. | Düzey sırası farkın işaretini belirler. |
| Permütasyon (B) | 10000 | Monte Carlo permütasyon sayısı; 100–100000. | p'nin Monte Carlo hatası; bootstrap GA'sında \min(B, 5000) yineleme. |
| Tohum | 42 | Rastgele sayı üretecinin tohumu (seed); 0–99999. | Aynı tohum (değeri) ve B ile sonuç aynıdır. |
| Desen | İki bağımsız grup | İki grup; k bağımsız grup (permütasyon F); Eşleştirilmiş (işaret çevirme). | Test istatistiği ve permütasyon birimi. |
| 2. ölçüm (eşli) | ilk sayısal sütun | Eşli desende ikinci ölçüm; fark = 1. − 2. | Yalnız eşli desende görünür. |
| Test istatistiği | Ortalama farkı | Ortalama farkı, Medyan farkı, Welch t (studentize). | Yalnız iki grup deseninde. |
| Hipotez yönü | Çift yönlü (≠) | Sağ yönlü: \mu_1>\mu_2; sol yönlü: \mu_1<\mu_2. | p ve klasik t satırının p'si; k grupta yok sayılır. |
| p hesabı | Monte Carlo | Monte Carlo; Kesin (mümkünse), yoksa Monte Carlo; Kesin (tüm atamalar). | Kesin p'de B kullanılmaz; tohum yalnız bootstrap GA'yı etkiler. |
| Güven Düzeyi | %95 | \alpha=1-\text{düzey}. | Karar eşiği ve bootstrap GA'nın düzeyi. |
Neden tohum kesin testte de yazılıyor?
Kesin p tüm atamaları saydığı için rastgelelik içermez. Ama ortalama farkının bootstrap GA'sı her zaman rastgeledir. Kesin yöntemde çıktı B ve tohumu permütasyon satırında değil, GA satırında "[bootstrap B = 5000, tohum = 42; kesin p'de B ve tohum kullanılmaz]" notuyla yazar (permutation_test.py:757–760).
16.4 Tıp örneği
Dosya: english/datasets/Tip/12_permutation_CRP_case_control.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/12_permutation_CRP_case_control.xlsx).
| Değişken | Rol | Tür | Açıklama/özet |
|---|---|---|---|
group |
Grup değişkeni | metin, 2 düzey | healthy 28, patient 25; veride ilk satır healthy. |
CRP_mg_L |
Bağımlı değişken | sürekli | C-reaktif protein (mg/L). |
patient_id |
kullanılmaz |
| healthy (1) | patient (2) | |
|---|---|---|
| n | 28 | 25 |
| Ortalama | 4,806429 | 8,704800 |
| SS | 1,653724 | 5,684619 |
| Medyan | 4,225 | 6,620 |
| En küçük / en büyük | 2,39 / 8,05 | 2,60 / 29,65 |
| Çarpıklık g_1 | 0,563 | 2,187 |
| Shapiro–Wilk p | 0,044 | 0,000072 |
n ve eksik değer: 53 kişi, eksik değer yok. Hasta grubunda 29,65 mg/L'lik uç değer ve belirgin sağa çarpıklık vardır; SS oranı yaklaşık 3,4'tür.
Klinik soru: Hastaların CRP ortalaması sağlıklı kontrollerden farklı mı? Normal dağılım varsayımı açıkça bozulduğu için p değerini dağılım varsayımı yapmadan elde etmek istiyoruz.
Seçilen ayarlar: Arayüz varsayılanları (İki bağımsız grup, Ortalama farkı, çift yönlü, Monte Carlo, B=10\,000, tohum 42, %95). Ayrıca aynı tohumla sağ/sol yönlü, medyan farkı ve Welch t; ilk 10 + 10 hastada kesin test; k grup deseni için Tıp #06 (LDL_change × drug_group, 4 × 35) ve eşli desen için Tıp #05 (systolic_before − systolic_post, n=50; kesin test için ilk 15 çift) çalıştırılmıştır. Tıp #12'de k grup ve eşli desene uygun değişken olmadığı için bu iki desende başka Tıp dosyaları kullanılmıştır.
Şekil 16.1. H₀ altında ortalama farkının permütasyon dağılımı (B = 10 000, tohum 42). Turuncu çizgi gözlenen fark, noktalı çizgi onun aynası; yalnız bir permütasyon bu iki çizginin dışında kalmıştır.
16.5 Formüller ve hesap adımları
MerQur'un sırası: (1) grupları belirle; (2) gözlenen istatistiği hesapla; (3) kesin ya da Monte Carlo yöntemine karar ver; (4) permütasyon dağılımını üret ve uç sayısını bul; (5) p'yi ve Monte Carlo belirsizliğini hesapla; (6) Cohen d ve Hedges g'yi ekle; (7) ayrı bir rastgele sayı akışından ortalama farkının bootstrap GA'sını kur; (8) klasik Student t testini karşılaştırma için ekle.
16.5.1 Grup sırası
Gruplar MerQur'un ortak düzey sırası kuralıyla dizilir (natural_cat_order, core/cat_order.py): pandas kategorik sırası ya da Veri sekmesinde tanımlı sıra varsa o; düzeyler sayıysa sayısal sıra, aralık etiketleriyse sınır sırası, sayı içeriyorsa doğal sıra ("hafta4" < "hafta12"); aksi halde verideki ilk görülme sırası. Alfabetik sıra kullanılmaz; çünkü Türkçe ve İngilizce etiketler farklı alfabetik sıraya düşer ve farkın işaretini çevirir. Bootstrap GA, Etki Büyüklüğü Hesaplayıcı, Mann–Whitney ve t testi aynı kuralı kullandığı için bu analizlerde fark yönü tutarlıdır; kullanılan sıra çıktıda yazılır.
16.5.2 Test istatistikleri
İki grup deseninde birleşik dizi X=(x_{11},\dots,x_{1n_1},x_{21},\dots,x_{2n_2}), N=n_1+n_2'dir. Bir permütasyon \pi, ilk n_1 konuma gelen gözlemleri "1. grup" yapar. _two_stat (permutation_test.py:235–255) üç istatistik tanımlar:
- Üst simge \pi: istatistiğin permütasyondaki etiketlerle hesaplandığını gösterir; \pi birim permütasyon olduğunda gözlenen değer T_{\text{göz}} elde edilir.
- \operatorname{med}: grup medyanı (çift n'de iki orta değerin ortalaması).
- s_g^{\pi2}: grubun varyansı, payda n_g-1; kodda \sum x^2 ve \sum x üzerinden hesaplanır (
permutation_test.py:249–252).
Neden studentize istatistik?
Ortalama farkının permütasyon dağılımı, H₀ "dağılımlar aynı" iken kesindir. Soru yalnız "ortalamalar eşit mi" ise ve varyanslar farklıysa, etiketler artık değiştirilebilir değildir; özellikle küçük grup büyük varyanslıysa ortalama farkı istatistiğinin birinci tür hata oranı nominalden sapar. Welch t istatistiği asimptotik olarak dağılımdan bağımsız (pivot) olduğu için permütasyon testi bu durumda da asimptotik olarak geçerli kalır (Janssen 1997). Arayüz ipucu bunu belirtir.
16.5.3 Monte Carlo permütasyon ve p değeri
Monte Carlo yolunda birleşik dizi her yinelemede yerinde karıştırılır: rng.shuffle(combined) (permutation_test.py:387–392). Karıştırma bir öncekinin üstüne yapılır; Fisher–Yates karıştırması her başlangıç sırasından tekdüze bir permütasyon ürettiği için ardışık permütasyonlar yine bağımsız ve tekdüzedir.
Çift yönlü ve ortalama farkında uç sayısı ve p (permutation_test.py:394–403):
Diğer istatistik ve yönlerde _p_from kullanılır (permutation_test.py:225–232); \varepsilon=10^{-12}\max(1,|T_{\text{göz}}|) ile:
- B: Monte Carlo permütasyon sayısı; \pi_{b'} rastgele permütasyonlar.
- b: gözlenen kadar ya da daha uç permütasyon sayısı.
- 10^{-12} terimi: kayan nokta gürültüsüyle gözlenen değere eşit olması gereken permütasyonların kaçırılmaması için göreli tolerans.
Neden (b+1)/(B+1)?
Gözlenen etiketleme de H₀ altındaki permütasyonlardan biridir. Rastgele çekilen B permütasyona onu eklemek, p'yi kesin geçerli kılar: her \alpha için P_{H_0}(p\le\alpha)\le\alpha. b/B ise sıfır olabilir ve testi liberal yapar (Phipson ve Smyth 2010). Sonuç olarak en küçük p, 1/(B+1)'dir; B=10\,000'de 0,0001.
Monte Carlo belirsizliği (permutation_test.py:404–407):
- \hat p: Monte Carlo p kestirimi (+1 düzeltmesi olmadan).
- \SH(\hat p): binom standart hatası.
- \text{GA}_{99}: %99 Clopper–Pearson aralığı; b=0 ise alt uç 0, b=B ise üst uç 1 (
_clopper_pearson,permutation_test.py:264–268). Rcoin::approximate()çıktısındaki %99 aralıkla aynı tanımdır.
Koddaki tercih
Monte Carlo belirsizliği satırı yalnız varsayılan dışı bir ayar seçildiğinde (yön, istatistik, desen ya da yöntem) yazılır; varsayılan çalıştırmada metinde görünmez, Tablo sekmesinde "MC SE(p)" satırları vardır (permutation_test.py:773–777, 892–895). Çift yönlü ortalama farkında tolerans çarpımsal (|T|(1-10^{-12})), diğerlerinde toplamsaldır; pratikte aynıdır.
16.5.4 Kesin permütasyon testi
"Kesin" ya da "Kesin (mümkünse)" seçilip \binom{N}{n_1}\le 500\,000 ise tüm atamalar itertools.combinations ile 20 000'lik parçalar halinde numaralandırılır (permutation_test.py:366–381):
- \Pi: grup 1'e düşecek n_1 gözlemin tüm alt kümeleri; gözlenen atama da içindedir, +1 eklenmez.
- Grafikte en çok 100 000 değer gösterilir; daha büyük kümelerden tohumla rastgele alt örnek alınır (
permutation_test.py:380–381). p tüm kümeden hesaplanır.
Ortalama farkı, grup 1 toplamı S_1'in doğrusal fonksiyonudur: T=S_1(1/n_1+1/n_2)-\sum X/n_2. Bu nedenle çift yönlü kesin p, R coin::oneway_test(distribution = "exact")'in (standartlaştırılmış doğrusal istatistik; Hothorn ve ark. 2008) p'siyle birebir aynıdır.
16.5.5 k grup: permütasyon F
_execute_kgroup (permutation_test.py:484–547) tek yönlü ANOVA F'sini kullanır:
- S_g: g. grubun toplamı; n_g: grup büyüklüğü (permütasyonda sabit).
- Grup kodları karıştırılır (
rng.shuffle(cd)); b=\#\{F(\pi)\ge F_{\text{göz}}(1-10^{-12})\}, p=(b+1)/(B+1). Yön ve istatistik seçimleri yok sayılır.
Neden yalnız sağ kuyruk?
\mathrm{KT}_{\text{toplam}} permütasyonda değişmez; F, \mathrm{KT}_{\text{arası}}'nın monoton artan fonksiyonudur. Gruplar arası farkın her yönü \mathrm{KT}_{\text{arası}}'yı büyütür, bu nedenle uç bölge yalnız sağ kuyruktur. F yerine \mathrm{KT}_{\text{arası}} ile çalışmak aynı p'yi verir (R coin::oneway_test k örneklem ve lmPerm::aovp).
16.5.6 Eşli desen: işaret çevirme
d_i=x_{1i}-x_{2i} ve T=\bar d olsun. H₀ altında her farkın işareti simetrik olarak \pm'dir (_execute_paired, permutation_test.py:550–625):
- \mathbf s: işaret vektörü. Kesin testte 2^n vektörün tümü numaralandırılır (n\le20); Monte Carlo'da her yinelemede
rng.choice((-1.0, 1.0), size=n)çekilir. - p: kesinde uç sayısı/2^n, Monte Carlo'da (b+1)/(B+1). Kesin testte en küçük p, 2/2^n'dir (tüm artı ve tüm eksi işaretler).
- Etki büyüklüğü d_z=\bar d/s_d ve g_z=d_z\,J(n-1).
16.5.7 Etki büyüklüğü ve bootstrap GA
İki grup deseninde (permutation_test.py:410–427):
Bootstrap GA: B_{\text{boot}}=\min(B,5000) kez her grup kendi içinde yerine koyarak örneklenir, \bar x_1^{*}-\bar x_2^{*} hesaplanır ve tür 7 yüzdelikleri alınır:
Koddaki tercih
Bootstrap, permütasyonlardan ayrı bir rastgele sayı akışı kullanır: aynı tohumdan SeedSequence(tohum).spawn(1) ile türetilen bağımsız bir alt akış (_boot_rng). Bu yüzden GA yalnız tohuma bağlıdır; B'nin değişmesi ya da kesin/Monte Carlo seçimi GA'yı değiştirmez. Aynı tohumla MC ve kesin çıktılar aynı GA'yı verir.
16.5.8 Klasik t testi ve karar
Karşılaştırma için scipy.stats.ttest_ind(..., equal_var=True, alternative=yön) ile Student t hesaplanır (permutation_test.py:432–434). Çift yönlü durumda |p_{\text{perm}}-p_t|>0{,}05 ise uyarı verilir (permutation_test.py:447–452). Karar p_{\text{perm}}<\alpha ile verilir (permutation_test.py:474).
16.6 Elle hesap: Tıp verisinde sayısal yürüyüş
Aşağıdaki değerler dogrulama/permutation_test/elle_hesap.py ile, MerQur kodu çağrılmadan numpy ile hesaplanmıştır. Rastgele sayı akışı aynı tohumdan (42), aynı sırayla yeniden üretilmiştir.
Adım 1 — Gözlenen fark. \sum x_{\text{healthy}}=134{,}58, \sum x_{\text{patient}}=217{,}62:
Adım 2 — İlk permütasyon. Tohum 42 ile ilk karıştırmada 1. gruba düşen gözlem sıraları (0 tabanlı) 27, 7, 37, 39, 52, 17, 5, … 44'tür; bu atamada fark T(\pi_1)=-0{,}515457'dir. İlk beş permütasyonun farkları -0{,}5155, 0{,}4847, -1{,}4149, 2{,}4692, 0{,}8792'dir.
Adım 3 — Permütasyon dağılımı. 10 000 farkın standart sapması 1,223413'tür. Kuramsal değer, H₀ altında birleşik varyansla \sqrt{s^2_{\text{top}}(1/n_1+1/n_2)}=\sqrt{20{,}194541\times0{,}075714}=1{,}236534'dür. Gözlenen fark bu dağılımın yaklaşık 3,2 SS dışındadır.
Adım 4 — Uç sayısı ve p. Mutlak değeri 3{,}898371'i aşan tek permütasyon vardır (-4{,}357957):
Adım 5 — Diğer istatistik ve yönler (aynı permütasyonlar).
| Ayar | T_{\text{göz}} | b | p | %99 CP GA |
|---|---|---|---|---|
| Ortalama farkı, çift yönlü | −3,898371 | 1 | 0,000200 | [0,0000005; 0,000743] |
| Ortalama farkı, sağ yönlü | −3,898371 | 9999 | 0,999900 | [0,999257; 0,9999995] |
| Ortalama farkı, sol yönlü | −3,898371 | 1 | 0,000200 | [0,0000005; 0,000743] |
| Medyan farkı | −2,395000 | 29 | 0,003000 | [0,001701; 0,004594] |
| Welch t | −3,306238 | 2 | 0,000300 | [0,0000103; 0,000927] |
Sağ yönlü hipotez (\mu_{\text{healthy}}>\mu_{\text{patient}}) verinin gösterdiği yönün tersidir; p bu yüzden 1'e yakındır.
Adım 6 — Etki büyüklüğü ve klasik t.
Permütasyon p'si (0,0002) klasik t'nin p'sinden (0,0011) küçüktür; fark 0,05 eşiğinin altında olduğundan uyarı çıkmaz.
Adım 7 — Bootstrap GA. Permütasyon akışından ayrı alt akıştan (SeedSequence(42).spawn(1)[0]) 5000 çekiliş; her çekilişte önce 28 healthy, sonra 25 patient indeksi:
Adım 8 — Kesin test (ilk 10 + 10 hasta). \binom{20}{10}=184\,756 atamadan 426'sı en az gözlenen kadar uçtur (T_{\text{göz}}=4{,}159-8{,}288=-4{,}129):
Aynı 20 kişide Monte Carlo (B=10\,000) b=30, p=0{,}0031 ve %99 CP aralığı [0{,}00178;\ 0{,}00472] verir; kesin p bu aralığın içindedir. coin::oneway_test(distribution = "exact") aynı kesin p'yi verir.
Adım 9 — k grup ve eşli desen. Tıp #06'da \mathrm{KT}_{\text{arası}}=28129{,}32, \mathrm{KT}_{\text{içi}}=22111{,}91, F=57{,}670093. 10 000 permütasyonun en büyük F'si 6,66'dır; b=0, p=1/10\,001=0{,}0000999900. Tıp #05'te \bar d=19{,}98, s_d=7{,}665161, d_z=2{,}606599, g_z=2{,}566463; Monte Carlo'da en büyük |T(\mathbf s)| 12,66'dır, b=0, p=0{,}0000999900. İlk 15 çiftte kesin test 2^{15}=32\,768 işaret vektöründen yalnız ikisini (tüm artı, tüm eksi) uç bulur: p=2/32\,768=0{,}000061.
16.6.1 Doğrulama: MerQur, Python ve R
MerQur değerleri execute() sonuç nesnesinden, panel modülünde round() ve p_yuvarla adları yalnız bellekte etkisizleştirilerek alınmıştır (dogrulama/permutation_test/merqur_calistir.py). Monte Carlo koşullarında permütasyon, işaret ve bootstrap indeksleri bağımsız Python betiğinin aynı tohumla ürettiği dosyalardan R'ye okutulmuş, istatistikler, uç sayıları, p, Monte Carlo SH'si ve Clopper–Pearson aralığı (binom.test) R'de hesaplanmıştır. Kesin testler R'de ayrıca numaralandırılmış ve coin::oneway_test ile karşılaştırılmıştır. Ölçüt: en büyük fark \le 10^{-6} (değer 1'den büyükse göreli).
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| Gözlenen fark \bar x_1-\bar x_2 | −3,898371 | −3,898371 | −3,898371 | 0,0e+00 | ✓ |
| Uç sayısı b (çift yönlü) | 1 | 1 | 1 | 0,0e+00 | ✓ |
| p (çift yönlü) | 0,000200 | 0,000200 | 0,000200 | 2,7e−20 | ✓ |
| p (sağ yönlü) | 0,999900 | 0,999900 | 0,999900 | 1,1e−16 | ✓ |
| MC SH (sağ yönlü) | 9,9995·10−5 | 9,9995·10−5 | 9,9995·10−5 | 4,1e−20 | ✓ |
| %99 CP alt (sağ yönlü) | 0,999257 | 0,999257 | 0,999257 | 1,1e−16 | ✓ |
| %99 CP üst (sağ yönlü) | 0,999999 | 0,999999 | 0,999999 | 3,3e−16 | ✓ |
| p (sol yönlü) | 0,000200 | 0,000200 | 0,000200 | 2,7e−20 | ✓ |
| MC SH (sol yönlü) | 9,9995·10−5 | 9,9995·10−5 | 9,9995·10−5 | 4,1e−20 | ✓ |
| %99 CP alt (sol yönlü) | 5,0125·10−7 | 5,0125·10−7 | 5,0125·10−7 | 1,1e−21 | ✓ |
| %99 CP üst (sol yönlü) | 0,000743 | 0,000743 | 0,000743 | 3,3e−17 | ✓ |
| p (medyan farkı) | 0,003000 | 0,003000 | 0,003000 | 4,3e−19 | ✓ |
| MC SH (medyan farkı) | 0,000538 | 0,000538 | 0,000538 | 3,3e−19 | ✓ |
| %99 CP alt (medyan farkı) | 0,001701 | 0,001701 | 0,001701 | 2,6e−18 | ✓ |
| %99 CP üst (medyan farkı) | 0,004594 | 0,004594 | 0,004594 | 7,8e−18 | ✓ |
| p (Welch t) | 0,000300 | 0,000300 | 0,000300 | 5,4e−20 | ✓ |
| MC SH (Welch t) | 0,000141 | 0,000141 | 0,000141 | 2,7e−19 | ✓ |
| %99 CP alt (Welch t) | 1,0350·10−5 | 1,0350·10−5 | 1,0350·10−5 | 4,9e−20 | ✓ |
| %99 CP üst (Welch t) | 0,000927 | 0,000927 | 0,000927 | 7,6e−19 | ✓ |
| Gözlenen medyan farkı | −2,395000 | −2,395000 | −2,395000 | 4,4e−16 | ✓ |
| Gözlenen Welch t | −3,306238 | −3,306238 | −3,306238 | 6,2e−15 | ✓ |
| Bootstrap %95 GA alt | −6,425586 | −6,425586 | −6,425586 | 2,7e−15 | ✓ |
| Bootstrap %95 GA üst | −1,842150 | −1,842150 | −1,842150 | 1,6e−15 | ✓ |
| Student t | −3,471555 | −3,471555 | −3,471555 | 1,3e−15 | ✓ |
| Student p (çift yönlü) | 0,001063 | 0,001063 | 0,001063 | 6,5e−19 | ✓ |
| Student p (sağ yönlü) | 0,999469 | 0,999469 | 0,999469 | 3,3e−16 | ✓ |
| Cohen d | −0,955241 | −0,955241 | −0,955241 | 1,1e−16 | ✓ |
| Hedges g | −0,941112 | −0,941112 | −0,941112 | 6,9e−15 | ✓ |
| Kesin: atama sayısı \binom{20}{10} | 184756 | 184756 | 184756 | 0,0e+00 | ✓ |
| Kesin p (10 + 10) | 0,002306 | 0,002306 | 0,002306 | 3,0e−18 | ✓ |
Kesin p, coin::oneway_test |
0,002306 | 0,002306 | 0,002306 | 3,0e−18 | ✓ |
| k grup: gözlenen F | 57,670093 | 57,670093 | 57,670093 | 2,3e−13 | ✓ |
| k grup: permütasyon p | 9,9990·10−5 | 9,9990·10−5 | 9,9990·10−5 | 1,4e−20 | ✓ |
| k grup: %99 CP üst | 0,000530 | 0,000530 | 0,000530 | 3,3e−19 | ✓ |
| k grup: ANOVA p | 4,0746·10−24 | 4,0746·10−24 | 4,0746·10−24 | 1,4e−37 | ✓ |
| Eşli: \bar d | 19,980000 | 19,980000 | 19,980000 | 0,0e+00 | ✓ |
| Eşli: MC p | 9,9990·10−5 | 9,9990·10−5 | 9,9990·10−5 | 1,4e−20 | ✓ |
| Eşli: bootstrap GA alt | 17,960000 | 17,960000 | 17,960000 | 0,0e+00 | ✓ |
| Eşli: bootstrap GA üst | 22,120500 | 22,120500 | 22,120500 | 7,1e−15 | ✓ |
| Eşli: d_z | 2,606599 | 2,606599 | 2,606599 | 3,6e−15 | ✓ |
| Eşli: g_z | 2,566463 | 2,566463 | 2,566463 | 2,0e−14 | ✓ |
| Eşli: eşleştirilmiş t | 18,431437 | 18,431437 | 18,431437 | 3,9e−14 | ✓ |
| Eşli kesin (n=15): p | 6,1035·10−5 | 6,1035·10−5 | 6,1035·10−5 | 0,0e+00 | ✓ |
Sonuç: 43 büyüklüğün tamamı ölçütü karşılar. Bağımsız bir denetim olarak R coin::oneway_test(distribution = approximate(nresample = 100000)) kendi üreteciyle p=0{,}00001 verir; gerçek p 10^{-4}'ün altındadır ve MerQur'un B=10\,000 ile verdiği 0,0002, 1/(B+1) alt sınırının iki katıdır.
16.7 Çıktıyı okuma
MerQur'un varsayılan çıktısı (kısaltılmış):
══ PERMÜTASYON TESTİ ══
Bağımlı değişken : CRP_mg_L
Grup sütunu : group
Grup 1 (healthy): n = 28, M = 4.8064
Grup 2 (patient): n = 25, M = 8.7048
Gözlenen fark : -3.8984
%95 GA : [-6.4256, -1.8422] (bootstrap)
── PERMÜTASYON SONUÇLARI ──
Permütasyon sayısı (B): 10000
Tohum : 42
p-değeri (iki yönlü): 0.000200
p = (b + 1) / (B + 1), b = |fark| ≥ |gözlenen| olan permütasyon sayısı, B = 10000 (...)
İstatistik: Ortalama farkı; hipotez yönü: Çift yönlü (≠)
Monte Carlo p belirsizliği: SE = 0.00010, %99 GA [0.00000, 0.00074] (Clopper-Pearson)
Cohen d = -0.9552, Hedges g = -0.9411
⚡ KARAR: H₀ reddedildi (p < α = 0.05). İki grup arasında anlamlı ortalama fark var.
── KARŞILAŞTIRMA: KLASİK t-TEST ──
t = -3.4716, p = 0.001063
| Satır | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Grup 1/2 | Düzey adı, n, ortalama | Fark yönü Grup 1 − Grup 2'dir. |
| Gözlenen fark, %95 GA | \bar x_1-\bar x_2 ve bootstrap yüzdelik GA'sı | GA permütasyondan değil, ayrı bir bootstrap'tan gelir; p ile her zaman aynı kararı vermez. |
| p-değeri | (b+1)/(B+1) ya da kesin p | En küçük değer 1/(B+1)'dir; "p = 0.0001" çok daha küçük bir gerçek p'yi temsil edebilir. |
| p açıklama satırı | Formül ve tanım | Bu satır yön ve istatistikten bağımsız olarak "|fark| ≥ |gözlenen|" yazar; tek yönlü ve medyan/Welch seçimlerinde tanım 16.5.3'teki gibidir. |
| Monte Carlo p belirsizliği | SE ve %99 CP GA | Monte Carlo p'de her zaman yazılır. |
| Cohen d, Hedges g | s_p ile d; kesin J ile g | Eşli desende d_z ve g_z. |
| KARAR | p<\alpha | Metin desen ve istatistikten bağımsız olarak "iki grup … ortalama fark" der. |
| Klasik t-test | Student t ve seçilen yöndeki p | Permütasyonla büyük fark varsa varsayımlar sorgulanmalıdır. |
APA biçiminde rapor cümlesi (Türkçe ondalıkla):
Hasta grubunda CRP (O = 8,70; SS = 5,68; n = 25) sağlıklı kontrollerden (O = 4,81; SS = 1,65; n = 28) yüksekti. Ortalama farkı için Monte Carlo permütasyon testi (B = 10 000, tohum 42) farkın anlamlı olduğunu gösterdi; fark = −3,90 mg/L, %95 bootstrap GA [−6,43; −1,84], p = 0,0002, Cohen d = −0,96. Varyans farkına dayanıklı Welch t istatistiğiyle permütasyon testi aynı sonucu verdi (p = 0,0003).
16.8 Uzman soruları
S1. p neden hiç 0 olmuyor? 0,0002 yerine "p < 0,0001" yazmak gerekmez mi?
Gözlenen etiketleme referans kümesinin üyesidir; p=(b+1)/(B+1) kesin geçerli bir p'dir ve alt sınırı 1/(B+1)'dir (Phipson ve Smyth 2010). b=1 ile 0,0002, "gerçek p büyük olasılıkla 0,00074'ün altında" demektir (%99 CP üst ucu). Daha küçük p'yi göstermek için B artırılmalıdır; raporda B ve tohum mutlaka yazılır.
S2. Varyanslar bu kadar farklıyken (SS 1,65 ve 5,68) ortalama farkı permütasyonu geçerli mi?
"Dağılımlar aynı" sıfır hipotezi için kesin geçerlidir. Yalnız "ortalamalar eşit" sorusu için, küçük grubun varyansı büyükse (burada n_2=25<n_1=28 ve s_2>s_1) birinci tür hata oranı nominalin üstüne çıkabilir. Studentize istatistik (Welch t) bu durumda asimptotik olarak geçerlidir (Janssen 1997). Bu veride Welch permütasyonu p=0{,}0003 verir; sonuç değişmez. Raporda Welch seçeneği tercih edilmelidir.
S3. Kesin test neden 53 kişide yapılamıyor?
\binom{53}{28}\approx9{,}04\times10^{14} atama vardır; MerQur'un sınırı 500 000'dir (permutation_test.py:197). "Kesin (mümkünse)" ya da "Kesin (tüm atamalar)" seçilirse Monte Carlo'ya geçilir; bu, ayar bloğuna not ve çıktıya uyarı olarak yazılır. R coin bu boyutta kesin dağılımı ancak tamsayı ölçekli veride kaydırma algoritmasıyla hesaplayabilir.
S4. Bootstrap GA sıfırı içermiyor ama başka bir veri setinde p<0{,}05 iken GA sıfırı içerebilir mi?
Evet. p permütasyon dağılımından (H₀ altında, birleşik veriyle), GA ise her grubun kendi dağılımından yeniden örneklemeyle kurulur. İkisi farklı sorulara cevap verir ve sınırda farklı karar verebilir. GA kendi rastgele akışından geldiği için B'den bağımsızdır (16.5.7).
S5. R'de `coin::oneway_test` ile aynı p'yi alır mıyım?
Kesin testte evet; ortalama farkı S_1'in doğrusal fonksiyonu olduğu için iki yönlü uç bölge aynıdır (bu bölümde 426/184 756 ile birebir eşleşti). Monte Carlo'da üreteçler farklı olduğundan p'ler Monte Carlo hatası kadar farklıdır. Medyan farkı ve Welch t istatistikleri coin'in doğrusal istatistik çerçevesinde yoktur; R'de perm paketi ya da elle permütasyon gerekir.
S6. k grup deseninde neden kesin test ve yön seçeneği yok?
k grupta atama sayısı multinomdur (N!/\prod n_g!; dört grupta 35'er kişiyle yaklaşık 1{,}2\times10^{81}) ve numaralandırma pratik değildir. F yalnız sağ kuyrukta anlamlı olduğundan yön seçeneği de anlamsızdır; kod alternative="greater" sabitler (permutation_test.py:542).
S7. Eşli desende işaret çevirme hangi varsayıma dayanır?
H₀ altında her farkın dağılımı 0 çevresinde simetriktir; bu, iki ölçümün aynı kişide değiştirilebilir olmasının sonucudur. Simetri varsayımı farkların dağılımı için gereklidir ve çarpık farklarda test ortalamadan çok medyana yakın bir merkezi sınar. Kesin testte en küçük p, 2/2^n'dir; n=5'te 0,0625 olduğundan çift yönlü %5 düzeyinde anlamlılık hiç elde edilemez.
S8. Bağlar ve kayan nokta eşitliği nasıl ele alınıyor?
Gözlenen istatistiğe eşit permütasyonlar uç sayılır. Kayan nokta toplamı nedeniyle eşit olması gereken değerler 10^{-15} düzeyinde farklılaşabilir; kod göreli 10^{-12} toleransla bunları yakalar (permutation_test.py:227, 225–232). Medyan farkında bağlar çok sık olduğundan bu tolerans özellikle önemlidir.
S9. Tek yönlü testte p = 0,9999 ne demek?
Sağ yönlü H_1:\mu_{\text{healthy}}>\mu_{\text{patient}} seçilmiştir; gözlenen fark negatif olduğundan permütasyonların neredeyse tamamı gözlenenden büyüktür. Bu, verinin H_1'in tersini gösterdiği anlamına gelir. Yön verilere bakılmadan, çalışma öncesinde seçilmelidir.
16.9 Sık hatalar ve tuzaklar
- p'yi B'den bağımsız sanmak. Monte Carlo p en az 1/(B+1)'dir; "p = 0,0001" yalnız "B ile ölçülebilen en küçük değer" olabilir.
- Varyans farkında ortalama farkı istatistiğine güvenmek. Grup büyüklükleri ve varyanslar farklıysa Welch t istatistiğini seçin.
- Grup sırasını alfabetik sanmak. Sıra tanımlanmamış metin etiketlerinde 1. grup veride ilk görülen düzeydir.
- GA'yı permütasyon GA'sı sanmak. "%95 GA (bootstrap)" ayrı bir bootstrap'tır; p ile farklı sorulara cevap verir.
- Karar metnini k grup ve eşli desende aynen almak. Metin her desende "iki grup arasında anlamlı ortalama fark" der; k grupta "gruplar arasında", eşlide "iki ölçüm arasında" diye düzeltin.
- Kümeli veride permütasyon. Aynı hekimin ya da kliniğin hastaları tek tek karıştırılamaz; küme düzeyinde permütasyon gerekir (MerQur'da yoktur).
- Kesin test seçip Monte Carlo sonucu raporlamak. "Kesin (mümkünse)" sınır aşılınca Monte Carlo'ya geçer ve bunu uyarıyla yazar; raporda kullanılan yöntem belirtilmelidir.
16.10 Kaynaklar
- Clopper, C. J., & Pearson, E. S. (1934). The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika, 26(4), 404–413. https://doi.org/10.1093/biomet/26.4.404
- Ernst, M. D. (2004). Permutation methods: A basis for exact inference. Statistical Science, 19(4), 676–685. https://doi.org/10.1214/088342304000000396
- Fisher, R. A. (1935). The design of experiments. Oliver and Boyd.
- Good, P. (2005). Permutation, parametric and bootstrap tests of hypotheses (3. baskı). Springer. https://doi.org/10.1007/b138696
- Hothorn, T., Hornik, K., van de Wiel, M. A., & Zeileis, A. (2008). Implementing a class of permutation tests: The coin package. Journal of Statistical Software, 28(8), 1–23. https://doi.org/10.18637/jss.v028.i08
- Janssen, A. (1997). Studentized permutation tests for non-i.i.d. hypotheses and the generalized Behrens–Fisher problem. Statistics & Probability Letters, 36(1), 9–21. https://doi.org/10.1016/S0167-7152(97)00043-6
- Phipson, B., & Smyth, G. K. (2010). Permutation p-values should never be zero: Calculating exact p-values when permutations are randomly drawn. Statistical Applications in Genetics and Molecular Biology, 9(1), Article 39. https://doi.org/10.2202/1544-6115.1585