MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Çoklu Karşılaştırma Düzeltmesi

Çoklu Karşılaştırma Düzeltmesianaliz

Aynı çalışmada çok sayıda hipotez testi yapıldığında şans eseri 'anlamlı' çıkan sonuçların birikmesini önlemek için p değerlerini ya da karar eşiğini düzelten yöntemler.

Kavram

Tek bir testte α = 0,05 seçmek, gerçekte etki yokken yanlışlıkla 'anlamlı' deme olasılığını %5'te tutar. Ama aynı çalışmada birbirinden bağımsız 15 test yapılırsa ve hiçbirinde gerçek bir etki yoksa, en az birinin şans eseri anlamlı çıkma olasılığı yaklaşık %54'e yükselir. Ne kadar çok test yapılırsa bu sorun o kadar büyür: genetik, anket maddeleri, alt grup analizleri ya da tüm ikili grup karşılaştırmaları bunun tipik örnekleridir. Çoklu karşılaştırma düzeltmeleri bu birikmeyi denetler.

İki farklı hedef vardır. Ailesel hata oranı (FWER), test ailesinde en az bir yanlış pozitif sonuç olma olasılığıdır; Bonferroni (her p'yi test sayısıyla çarpar), Šidák, Holm, Hochberg ve Hommel bunu denetler. Holm gibi adımlı yöntemler p değerlerini küçükten büyüğe sıralayıp eşiği adım adım gevşetir ve Bonferroni ile aynı güvenceyi daha fazla güçle sağlar. Yanlış keşif oranı (FDR) ise 'anlamlı' bulunan sonuçlar içinde yanlış olanların beklenen oranıdır; Benjamini-Hochberg ve türevleri bunu denetler. FDR daha esnek bir ölçüttür ve çok sayıda testte daha fazla gerçek etkiyi yakalar.

Hangi yöntemin seçileceği çalışmanın amacına bağlıdır: tek bir yanlış pozitifin bile ciddi sonuçları olacaksa (ör. bir ilacın onayı) FWER, çok sayıda adayın ön elemesi yapılıyorsa (ör. hangi genlerin daha ayrıntılı inceleneceği) FDR uygundur. Bazı yöntemler testlerin bağımsız ya da olumlu yönde ilişkili olduğunu varsayar; testler arasında karmaşık bağımlılık varsa Benjamini-Yekutieli gibi daha temkinli yöntemler kullanılır. Düzeltilecek test ailesi, veriye bakmadan önce tanımlanmalıdır.

Ne zaman kullanılır?

  • Aynı çalışmada birden çok hipotez testi yapıldığında (birçok sonuç değişkeni, birçok alt grup, tüm ikili grup karşılaştırmaları) ve bulguların bir kısmının şans eseri anlamlı çıkması riski denetlenmek istendiğinde.
  • Az sayıda doğrulayıcı test için Holm ya da Hochberg; çok sayıda keşifsel test için Benjamini-Hochberg (FDR) tercih edilir. Testler arasında karmaşık bağımlılık varsa Benjamini-Yekutieli daha güvenlidir.
  • Karşılaştırmalar bir ANOVA'nın ardından grup çiftleri arasında yapılıyorsa Tukey HSD, Dunnett ya da Games-Howell gibi ANOVA'ya özgü post-hoc testler de bu sorunu doğrudan çözer.

Gündelik bir örnek

Bir okul psikoloğu altı sınıfın sınav kaygısı puanlarını karşılaştırıyor ve tüm ikili sınıf çiftlerini, yani 15 çifti, ayrı t-testleriyle sınıyor. Düzeltme yapmadan 4 çift p < 0,05 ile anlamlı çıkıyor. Ama sınıflar arasında gerçekte hiç fark olmasa bile 15 testte ortalama 0,75 yanlış alarm beklenir. Holm düzeltmesi uygulandığında yalnız 2 çift anlamlı kalıyor; bu iki çiftteki farkların şansla açıklanması çok daha zordur. Benjamini-Hochberg ile 3 çift anlamlı kalabilir; bu yöntem, anlamlı bulunan farklar içinde yanlış olanların beklenen oranını en fazla %5'te tutar.

MerQur'da parametreler

p listesi

Kavram: Düzeltme, aynı 'test ailesine' ait tüm ham p değerleri üzerinden birlikte yapılır; bir p değerinin düzeltilmiş hâli, ailedeki diğer p değerlerine ve test sayısına bağlıdır. Bu yüzden aileye hangi testlerin girdiği, sonuca bakmadan önce belirlenmelidir.

Gündelik örnek: Psikolog 15 sınıf çiftinin p değerlerini tek liste olarak girer. Yalnız 'ilginç görünen' 4 p değerini girseydi düzeltme çok hafif kalır ve yanlış alarm riski gizlenirdi.

Ne işe yarar: Her satırda bir test; "etiket: p" biçimi, virgül ya da noktalı virgülle ayrılmış değerler kabul edilir, "#" ile başlayan satır nottur, geçersiz satır atlanır. 0 <= p <= 1 dışındaki değerler ve tek p değeri uyarıyla durdurur.

Sonuca etkisi: Düzeltilecek p kümesini belirler.

Doğrulama verisinde: BH 15 p'nin farklı yazım biçimleri aynı sonucu verir. Dört liste (15 + 24 + 121 + 50 p) için Bonferroni, Šidák, Holm, Holm-Šidák, Hochberg, Hommel, BH ve BY düzeltilmiş p'leri her koşuda hesaplanır (8 yöntem x 2175 satır).

→ p-değeri

α (0.001-0.999)

Kavram: α, ailesel hata oranı ya da yanlış keşif oranı için kabul edilen üst sınırdır. Düzeltilmiş p değeri α'dan küçük ya da eşitse test anlamlı sayılır. FWER yöntemlerinde α = 0,05, 'tüm aile içinde en az bir yanlış alarm olasılığı en fazla %5' demektir; FDR yöntemlerinde ise 'anlamlı bulunanların en fazla %5'i yanlış' anlamına gelir.

Gündelik örnek: Psikolog α = 0,05 ile Holm uygularsa 15 karşılaştırmanın tümünde birlikte en az bir yanlış alarm verme riski %5'i aşmaz. α = 0,10 seçerse daha fazla çift anlamlı çıkar ama bu risk de iki katına çıkar.

Ne işe yarar: Karar eşiğini belirler (düzeltilmiş p <= α). İki aşamalı FDR'de (TSBH, BKY) düzeltilmiş p'yi de etkiler; ham anlamlılık sayımı p < α ile yapılır.

Sonuca etkisi: Anlamlı test sayıları değişir; çoğu yöntemde düzeltilmiş p değişmez.

Doğrulama verisinde: BH 15 p, Bonferroni / Holm / Hochberg / Hommel / BH / BY anlamlı sayısı: α = 0.05: 3 / 3 / 3 / 3 / 4 / 3; α = 0.01: 2 / 2 / 2 / 2 / 3 / 2; α = 0.10: 3 / 3 / 3 / 4 / 9 / 3.

→ Anlamlılık düzeyi (α)

Giriş modu (Liste, Veriden)

Kavram: Ham p değerleri başka bir analizden hazır alınabilir ya da doğrudan ham veriden, gruplar arasındaki ikili testlerle üretilebilir. İkinci yol, test ailesinin eksiksiz ve tutarlı biçimde oluşturulmasını güvenceye alır.

Gündelik örnek: Psikolog p değerlerini daha önce yaptığı testlerden kopyalayıp yapıştırabilir. Ya da sınıf ve kaygı puanı sütunlarını seçer; 15 çiftin p değerleri veriden üretilir ve hiçbir çift unutulmaz.

Ne işe yarar: "Veriden" modunda grup ve ölçüm sütunundan ikili test p'leri üretilip p kutusuna yazılır, sonra aynı yöntemlerle düzeltilir.

Sonuca etkisi: Liste moduna dönüldüğünde veri seçimleri etkisizdir. p üretimi başarısız olursa (ör. veride olmayan bir Referans düzeyi) hata mesajı gösterilir ve eski p'ler raporlanmaz.

Grup ve ölçüm sütunu (veriden mod)

Kavram: Veriden p üretilirken grup sütunu karşılaştırılacak kategorileri, ölçüm sütunu ise karşılaştırılan sayısal sonucu belirler. Bir gözlemin ölçümü eksikse o gözlem testlere katılmaz.

Gündelik örnek: Grup sütunu sınıf adı (6-A, 6-B, …), ölçüm sütunu sınav kaygısı puanıdır. Anket formunu boş bırakan öğrenciler hesaba katılmaz.

Ne işe yarar: Grup (kategorik ya da metin) ve ölçüm sütununu seçer. Eksik ölçümler satır bazında atılır; düzey sırası verideki görünme sırasıdır (airquality: May, Jun, Jul, Aug, Sep).

Sonuca etkisi: Ham p'lerin hesaplandığı grupları ve ölçümü belirler.

Karşılaştırma (Referansa karşı, Tüm ikili çiftler) ve Referans düzeyi

Kavram: Hangi karşılaştırmaların yapılacağı test ailesinin büyüklüğünü belirler: k grup için yalnız bir referans gruba karşı karşılaştırma k − 1, tüm ikili çiftler ise k(k − 1)/2 test demektir. Aile küçüldükçe düzeltme hafifler ve gerçek farkları yakalama gücü artar.

Gündelik örnek: Altı sınıfın tüm çiftleri 15 test eder. Psikoloğun asıl sorusu 'kaygı önleme programı uygulanan 6-A sınıfı diğerlerinden farklı mı?' ise yalnız 6-A'ya karşı 5 karşılaştırma yapılır ve düzeltme çok daha hafif olur.

Ne işe yarar: Her düzeyi referansa karşı (k - 1 test) ya da tüm ikili çiftleri (k(k - 1)/2 test) karşılaştırır. Referans boşsa "control / kontrol / placebo" adlı düzey ya da ilk düzey kullanılır.

Sonuca etkisi: Test sayısı ve düzeltme ailesi değişir; çiftler modunda Referans düzeyi etkisizdir.

Doğrulama verisinde: airquality (Welch): Referans düzeyi May için 4 test, çiftler için 10 test. Holm düzeltmeli değerler ayrı varyanslı Welch p'lerinden hesaplanır (ör. May-Jul 0.00026, Jun-Jul 0.01527).

→ Post hoc testler (ikili karşılaştırmalar)

İkili test (Welch t, Student t, Havuzlanmış t, Mann-Whitney U)

Kavram: Ham p değerleri hangi ikili testle hesaplanırsa düzeltme de o testin varsayımlarını taşır. Welch t eşit varyans varsaymaz; Student t iki grubun varyanslarını birleştirir; havuzlanmış t tüm grupların ortak varyansını kullanır; Mann-Whitney U ise sıralara dayanır ve normallik gerektirmez.

Gündelik örnek: Bazı sınıflarda kaygı puanları çok dağınık, bazılarında toplu ise Welch t daha güvenilir ham p değerleri verir. Puanlar küçük sınıflarda belirgin biçimde çarpıksa Mann-Whitney U seçilebilir.

Ne işe yarar: Ham p'lerin hesaplandığı testi seçer. Havuzlanmış t tüm grupların SD'siyle hesaplanır (sd = N - k).

Sonuca etkisi: Ham ve düzeltilmiş p'ler değişir.

Doğrulama verisinde: airquality çiftler: havuzlanmış t ile Holm düzeltmeli p'ler May-Jul 0.000264, Jun-Aug 0.0499. Mann-Whitney PlantGrowth trt1-trt2: p = 0.01133 (süreklilik düzeltmeli normal yaklaşım).

→ Havuzlanmış varyans (ortak standart sapma)

Ek yöntemler: Holm-Šidák, iki aşamalı BH (TSBH), Benjamini-Krieger-Yekutieli (BKY), Storey q-değeri

Kavram: Ek yöntemler temel yöntemlerin daha güçlü ya da farklı varsayımlı sürümleridir. Holm-Šidák, Holm'un Šidák eşikleriyle çalışan biraz daha güçlü biçimidir. İki aşamalı FDR yöntemleri (TSBH, BKY) önce gerçekte etkisi olmayan test oranını kestirir, sonra bu bilgiyle daha güçlü bir düzeltme yapar. Storey q-değeri, her test için 'bu sonucu anlamlı saymak için kabul edilmesi gereken en küçük yanlış keşif oranı'dır.

Gündelik örnek: 15 çiftin çoğunda gerçek bir fark varsa iki aşamalı yöntemler bunu fark eder ve BH'den biraz daha fazla çifti anlamlı bulabilir. Bir çiftin q-değeri 0,03 ise o çift ve ondan daha küçük p'li çiftler anlamlı sayıldığında beklenen yanlış keşif oranı yaklaşık %3'tür.

Ne işe yarar: Holm-Šidák (adımlı Šidák, FWER); iki aşamalı BH (TSBH); BKY (2006) iki aşamalı FDR; Storey q-değeri (λ = 0.5). Tabloya ek sütun olarak eklenir.

Sonuca etkisi: Yalnız ek sütunlar.

Doğrulama verisinde: Holm-Šidák düzeltilmiş p'leri Holm (1979) tanımına uyar. BKY kararları BKY (2006) Tanım 6'ya uyar (BH 15 p, α = 0.05: 8 ret). Storey q: BH 15 p'de π0 = 0.667 (λ = 0.5).

→ Holm (adım adım Bonferroni) yöntemi

Gerçek veride örnek

Veri: Benjamini ve Hochberg 1995 p listesi; airquality, R datasets

Değişkenler: p kutusuna Benjamini ve Hochberg (1995) örneğinin 15 p değeri yapıştırılır

  • Soru: Benjamini ve Hochberg (1995) örneğindeki 15 testten hangileri, çoklu test sorunu hesaba katıldığında hâlâ anlamlıdır?
  • Ham sonuç: Düzeltme yapılmadan 15 testin 9'u p < 0.05 ile anlamlı görünür; bu kadar çok test yapıldığında birinci tip hata birikir.
  • Ailesel hata (FWER): Bonferroni, Šidák, Holm, Hochberg ve Hommel ile yalnız ilk 3 test anlamlı kalır (ör. Bonferroni p03 = 0.0285, Holm p03 = 0.0247).
  • Yanlış keşif oranı (FDR): BH yöntemiyle 4 test anlamlıdır (p04 için BH p = 0.0356); bağımlı testler için daha tutucu BY yöntemiyle 3 test kalır.
  • Yorum: FDR yöntemleri ailesel hata yöntemlerinden daha güçlüdür; çok sayıda test yapılan keşifsel çalışmalarda BH, az sayıda doğrulayıcı testte Holm ya da Hochberg önerilir.
  • APA: 15 karşılaştırmanın 9'u düzeltmesiz anlamlıydı; Benjamini-Hochberg düzeltmesiyle (FDR = .05) 4'ü, Holm düzeltmesiyle 3'ü anlamlı kaldı.

İlgili kavramlar

Šidák düzeltmesiHavuzlanmış varyans (ortak standart sapma)Post hoc testler (ikili karşılaştırmalar)Holm (adım adım Bonferroni) yöntemip-değeriYanlış keşif oranı (FDR, Benjamini-Hochberg, Storey q)Referans kategori (karşılaştırma düzeyi)Çoklu karşılaştırma ve aile boyu hata oranı (FWER)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.