İstatistik Sözlüğü → Permütasyon Testi
Permütasyon Testianaliz
Grup etiketlerini (ya da eşli farkların işaretlerini) rastgele yeniden dağıtarak 'gerçekte fark yoksa ne görürdük?' sorusunun dağılımını veriden üreten ve p değerini bu dağılımdan hesaplayan, dağılım varsayımı gerektirmeyen test.
Kavram
Klasik testler p değerini, test istatistiğinin sıfır hipotezi altında belirli bir kuramsal dağılıma (t, F) uyduğu varsayımıyla hesaplar; bu da normallik gibi varsayımlara dayanır. Permütasyon testi bu kuramsal dağılımı veriden kendisi üretir. Mantığı basittir: gruplar arasında gerçekten hiçbir fark yoksa, bir gözlemin hangi gruba ait olduğunu gösteren etiket keyfidir; etiketler karıştırıldığında da benzer farklar görülmelidir.
Önce gözlenen veride test istatistiği (ör. iki grubun ortalama farkı) hesaplanır. Sonra grup etiketleri gözlemler arasında rastgele yeniden dağıtılır ve istatistik her seferinde yeniden hesaplanır; eşli desende ise her farkın işareti rastgele çevrilir. Bu işlem tüm olası düzenlemeler için (kesin test) ya da binlerce rastgele düzenleme için (Monte Carlo) tekrarlanır. p değeri, karıştırılmış verilerde gözlenen kadar ya da daha uç bir istatistik çıkma oranıdır.
Test normallik gerektirmez, ama bir varsayımı vardır: sıfır hipotezi altında gözlemler gruplar arasında değiştirilebilir (exchangeable) olmalıdır. Ortalama farkı kullanıldığında test aslında iki dağılımın aynı olup olmadığını sınar; gruplar ortalamada değil de yalnız dağınıklıkta farklıysa bile anlamlı çıkabilir. Yalnız ortalama farkı sorulduğunda ve varyanslar farklı olabildiğinde Welch t gibi standartlaştırılmış bir istatistik kullanmak daha güvenlidir. Gözlemler bağımsız olmalıdır; bu test etiketlerin gerçekten rastgele atandığı deneylerde en sağlam yorumu verir.
Ne zaman kullanılır?
- İki ya da daha fazla grubu karşılaştırırken örneklem küçük olduğunda ve normallik varsayımı şüpheli olduğunda, t-testi ve ANOVA'ya dağılımdan bağımsız bir alternatif olarak.
- Aynı birimlerin iki ölçümü karşılaştırılıyorsa işaret çevirme (eşli permütasyon) testi; sıralara dayanan klasik bir dağılımdan bağımsız seçenek isteniyorsa Mann-Whitney U ya da Wilcoxon işaretli sıralar testi kullanılabilir.
- Amaç bir fark testi değil, bir istatistiğin güven aralığını bulmaksa bootstrap güven aralığı tercih edilir.
Gündelik bir örnek
Küçük bir kitapçı iki vitrin düzenini deniyor: 8 gün A düzeni, 8 gün B düzeni. Günlük satış ortalaması A'da 1200 TL, B'de 1450 TL; fark 250 TL. Bu kadar az günle dağılımın normal olup olmadığından emin olunamaz. Permütasyon testi 16 günün satış rakamlarını alır, 'A' ve 'B' etiketlerini günlere rastgele yeniden dağıtır ve her seferinde ortalama farkını hesaplar. 16 günü 8'e 8 bölmenin 12870 yolu vardır; bunların yalnız %2'sinde B lehine 250 TL ya da daha büyük bir fark çıkıyorsa iki yönlü p yaklaşık 0,04 olur ve farkın yalnız şansla açıklanması zordur.
MerQur'da parametreler
Bağımlı değişken ve Grup değişkeni
Kavram: Bağımlı değişken karşılaştırılan sayısal sonuç, grup değişkeni ise etiketleri karıştırılacak sütundur. Farkın işareti grupların hangi sırayla alındığına bağlıdır: birinci grup eksi ikinci grup.
Gündelik örnek: Günlük satış tutarı bağımlı değişken, vitrin düzeni (A/B) grup değişkenidir. Fark 'A − B' diye tanımlanırsa B'nin üstünlüğü −250 TL olarak görünür; işaret yalnız yönü gösterir, büyüklüğü değiştirmez.
Ne işe yarar: Sayısal sonuç ve grup sütununu seçer. Düzeyler alfabetik sıralanır; fark = birinci düzey - ikinci düzey. İki grup deseninde tam 2 düzey gerekir; aksi halde uyarıyla durur.
Sonuca etkisi: Tüm çıktıyı belirler.
Doğrulama verisinde: hsb2 write: female = 0 n = 91, M = 50.1209; female = 1 n = 109, M = 54.9908; gözlenen fark -4.8699.
Desen (İki bağımsız grup, k grup, Eşli)
Kavram: Desen, neyin karıştırılacağını belirler. İki bağımsız grupta grup etiketleri, üç ya da daha fazla grupta da etiketler karıştırılır ve tek yönlü ANOVA'daki F istatistiği kullanılır. Eşli desende her birimin iki ölçümü birbirine bağlı olduğundan etiketler değil, farkların işaretleri rastgele çevrilir.
Gündelik örnek: Kitapçı üç vitrin düzenini denerse k grup deseni kullanılır. Aynı 10 şubede eski ve yeni düzenin satışları karşılaştırılıyorsa eşli desen seçilir: her şubenin 'yeni − eski' farkının işareti yazı-tura gibi rastgele çevrilir.
Ne işe yarar: İki grupta etiket karıştırma; k grupta tek yönlü ANOVA F'sinin permütasyon dağılımı (yalnız Monte Carlo, üst kuyruk); eşli desende farkların işaret çevirme testi (T = ort(d)).
Sonuca etkisi: İstatistik ve p'nin tanımı değişir. İki düzeyli veride k grup deseni iki yönlü ortalama farkı testine eşdeğerdir.
Doğrulama verisinde: alpha k grup F = 2.6130, permütasyon p = 0.0754; hsb2 write ~ prog F = 21.27, p = 0.0001 (= 1/(B + 1)); depression eşli kesin iki yönlü p = 0.02734.
2. ölçüm (yalnız eşli desen)
Kavram: Eşli desende her birimin iki ölçümü vardır ve fark, birinci ölçümden ikinci ölçüm çıkarılarak tanımlanır. Ölçümlerin sırası farkın işaretini, dolayısıyla tek yönlü bir hipotezin yönünü belirler.
Gündelik örnek: Birinci ölçüm yeni düzenle, ikinci ölçüm eski düzenle yapılan satışsa pozitif fark yeni düzenin daha çok sattığını gösterir. Sıra ters seçilirse aynı sonuç negatif bir farkla ifade edilir.
Ne işe yarar: Farkı d = birinci ölçüm - ikinci ölçüm olarak tanımlar. Aynı sütun seçilirse rol uyarısıyla durur.
Sonuca etkisi: Eşli desende farkın işaretini belirler; iki grup deseninde etkisizdir.
Test istatistiği (Ortalama farkı, Medyan farkı, Welch t; yalnız iki grup)
Kavram: Permütasyon testi herhangi bir istatistikle kurulabilir; seçilen istatistik testin neye duyarlı olduğunu belirler. Ortalama farkı en yaygın olanıdır; medyan farkı aykırı değerlere daha dirençlidir; Welch t ise farkı belirsizliğine bölen standartlaştırılmış bir istatistiktir ve grupların varyansları farklı olduğunda bile ortalama farkı için geçerliliğini büyük ölçüde korur.
Gündelik örnek: B düzeninin günlerinden birinde bir okul topluca kitap aldıysa o günün satışı ortalamayı şişirir; medyan farkı bu tek günden çok az etkilenir. A günlerinin satışları çok tutarlı, B günlerininki çok dalgalıysa Welch t daha güvenilir bir seçimdir.
Ne işe yarar: Permütasyon dağılımı için istatistiği seçer; Welch t studentize edilmiş istatistiktir (Janssen, 1997).
Sonuca etkisi: Gözlenen değer ve p değişir. Eşli ve k grup desenlerinde yok sayılır.
Doğrulama verisinde: diffusion (kesin, 3003 atamanın tümü sayılır): ortalama farkı p = 0.131868; medyan farkı (-0.515) p = 0.082584; Welch t (-2.0414) p = 0.079254.
Hipotez yönü (İki yönlü, Sağ yönlü, Sol yönlü)
Kavram: Hipotezin yönü, karıştırılmış veride hangi değerlerin 'gözlenen kadar uç' sayılacağını belirler: çift yönlü testte her iki yöndeki büyük farklar, tek yönlü testte yalnız önceden belirlenen yöndeki farklar sayılır.
Gündelik örnek: Kitapçı yalnız 'B düzeni daha çok sattırıyor mu?' diye soruyorsa yalnız B lehine 250 TL ve daha büyük farklar sayılır. 'Düzenler arasında fark var mı?' diye soruyorsa A lehine 250 TL ve üstü farklar da sayılır ve p yaklaşık iki katına çıkar.
Ne işe yarar: İki yönlü |T| >= |t|, sağ yönlü T >= t, sol yönlü T <= t; yön birinci grup - ikinci gruptur. k grupta yok sayılır.
Sonuca etkisi: p ve H₁ metni değişir; klasik t karşılaştırma satırı da seçilen yöndeki p'yi gösterir.
Doğrulama verisinde: diffusion kesin sağ yönlü p = 0.938062, sol yönlü p = 0.063603; neuropathy sol yönlü MC p = 0.0990.
p hesabı (Monte Carlo, Kesin, Otomatik)
Kavram: Kesin permütasyon testi tüm olası etiket düzenlemelerini tek tek dener ve kesin bir p değeri verir; ancak düzenleme sayısı örneklem büyüdükçe hızla patlar. Monte Carlo yaklaşımı bunların arasından rastgele binlercesini seçer; p değeri bir tahmindir ve kesinliği bir güven aralığıyla gösterilebilir.
Gündelik örnek: 16 günü 8'e 8 bölmenin 12870 yolu vardır; bilgisayar hepsini kolayca dener ve kesin p'yi verir. Kitapçı 60 günlük veriyle çalışsaydı olası bölünme sayısı astronomik olurdu ve rastgele 10000 düzenleme ile Monte Carlo tahmini yapılırdı.
Ne işe yarar: Monte Carlo: p = (b + 1)/(B + 1) (Phipson ve Smyth, 2010) ve %99 Clopper-Pearson GA. Kesin: tüm C(n, n1) atama (<= 500000; eşlide 2^n, n <= 20), p = b/N. Otomatik: sayılabiliyorsa kesin; sınır aşılırsa ya da k grupta uyarıyla Monte Carlo'ya geçilir.
Sonuca etkisi: p'nin türü ve kesinliği değişir. Kesin yöntemde yalnız numaralandırılan atama sayısı bildirilir.
Doğrulama verisinde: diffusion MC p = 0.134287, kesin 0.131868; mouse kesin (11440 atama) 0.278147. hsb2 write ~ female MC p = 0.0005.
B ve Tohum
Kavram: B, Monte Carlo yönteminde denenecek rastgele düzenleme sayısıdır; arttıkça p tahmini daha kesin olur. Tohum, rastgele sayı üretecinin başlangıç değeridir; aynı tohum aynı düzenlemeleri, dolayısıyla aynı sonucu verir.
Gündelik örnek: 1000 permütasyonla p bir çalıştırmada 0,038, ötekinde 0,046 çıkabilir; 10000 permütasyonla bu dalgalanma çok azalır. Tohum raporda belirtilirse başka biri aynı p'yi birebir elde eder.
Ne işe yarar: Monte Carlo permütasyon sayısını ve tohumu belirler; bootstrap GA aynı rastgele akıştan B_boot = min(B, 5000) ile üretilir.
Sonuca etkisi: MC p'si MC payı kadar değişir.
Doğrulama verisinde: diffusion: B = 200 p = 0.1294, 2000 p = 0.1264, 10000 p = 0.1343; tohum 0 p = 0.1340, 12345 p = 0.1285 (kesin 0.1319; hepsi MC payı içinde).
Güven düzeyi (%90, %95, %99, Diğer/özel 80.0-99.9)
Kavram: Güven düzeyi, karar için kullanılan anlamlılık eşiğini (α) ve ortalama farkı için verilen bootstrap güven aralığının ne kadar 'emin' olacağını belirler. p değerinin kendisini değiştirmez.
Gündelik örnek: p = 0,04, %95 güven düzeyinde anlamlı, %99'da anlamsızdır. Bootstrap aralığı ise B düzeninin günlük satışı ortalama '20 ile 480 TL arası' artırdığını söyleyebilir; bu, kararın yanında farkın büyüklüğünü de gösterir.
Ne işe yarar: Karar α'sını (1 - düzey) ve ortalama farkının yüzdelik bootstrap GA düzeyini belirler.
Sonuca etkisi: GA ve karar satırı değişir; p değişmez.
Doğrulama verisinde: hsb2 write %95 bootstrap GA [-7.4005, -2.2211]; diffusion %90 [-0.5951, -0.0869], %95 [-0.644, -0.040], %99 [-0.7351, 0.0490]; yeniden örnekleme gruplar içinde (tabakalı) yapılır.
Etki büyüklüğü (form parametresi değil; tüm koşularda raporlanır)
Kavram: Etki büyüklüğü, farkın büyüklüğünü standart sapma birimiyle ifade eder ve p değerinden bağımsız olarak pratik önemi gösterir. Hedges g, Cohen d'nin küçük örneklemlerde etkiyi biraz büyük gösterme eğilimini düzeltir; eşli desende d_z farkların standart sapmasını kullanır.
Gündelik örnek: Satışların standart sapması 230 TL ise 250 TL'lik fark yaklaşık d = 1,1 eder; bu büyük bir etkidir. 8'er günlük küçük örneklemde Hedges g bunu biraz aşağı çeker, yaklaşık 1,0'a.
Ne işe yarar: İki grupta Cohen d (havuzlanmış SS) ve Hedges g = d·J(n1 + n2 - 2); eşlide d_z = ort(d)/SS(d) ve g = d_z·J(n - 1); J = Γ(m/2)/(√(m/2)·Γ((m - 1)/2)) (Hedges, 1981).
Sonuca etkisi: Her koşuda ek satır olarak yazılır; p'yi değiştirmez.
Doğrulama verisinde: hsb2 d = -0.5302, g = -0.5282. Eşli desende depression g = 0.9133, sleep g = -1.1739.
Gerçek veride örnek
Veri: UCLA OARC hsb2 (High School and Beyond, n = 200)
Değişkenler: bağımlı write (yazma puanı), grup female (0 erkek, 1 kız)
- Soru: Yazma puanı ortalaması erkek (female = 0, n = 91) ve kız (female = 1, n = 109) öğrenciler arasında farklı mı? Dağılım varsayımı olmadan, grup etiketlerinin karıştırılmasıyla sınanır.
- Sonuç: Gözlenen fark -4.87 (50.12 - 54.99); 10000 permütasyonda iki yönlü p = 0.0005 (p = (b + 1)/(B + 1)). Sıfır hipotezi reddedilir.
- Etki büyüklüğü: Cohen d = -0.53, Hedges g = -0.53; orta düzeyde bir etki.
- Ek bulgu: Farkın bootstrap %95 GA'sı [-7.40, -2.22] 0'ı içermez; klasik t-testi de aynı kararı verir (t = -3.73, p = .0002).
- Yorum: Permütasyon testi normallik ve varyans eşitliği varsayımı gerektirmez; burada parametrik ve permütasyon sonuçlarının örtüşmesi kararın sağlam olduğunu gösterir.
- APA: Permütasyon testi, B = 10000, fark = -4.87, p < .001, d = -0.53.
İlgili kavramlar
Permütasyon p-değeriEtki büyüklüğüMonte Carlo p-değeriNormallik varsayımıTek yönlü ve çift yönlü test (hipotez yönü)Dağılımdan bağımsız (sıra istatistiği) güven aralığıKesin (exact) test ve kesin p-değeriEşleştirilmiş ölçümlerde Cohen d (d_z, d_av, d_rm)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.