MerQuR+Başvuru Kitabı

17. Çoklu Karşılaştırma Düzeltme

Analiz kimliği: multiple_comparison · Menü adı: Çoklu Karşılaştırma Düzeltme · Panel: gui/panels/analyses/multiple_comparison.py · Motor: aynı dosya, execute (satır 603–713) ve pvalues_from_data (satır 274–400); düzeltmeler statsmodels.stats.multitest.multipletests, Storey q-değeri _storey_q (satır 85–98)

17.1 Ne işe yarar

Bu modül, bir p değeri listesini alır ve aynı anda birçok hipotez sınandığında ortaya çıkan birinci tür hata şişmesini denetleyen düzeltilmiş p değerlerini yedi (isteğe bağlı on bir) yöntemle yan yana verir. Cevapladığı soru şudur: "Bu m testten hangilerini, aile bazında bir hata ölçütünü koruyarak anlamlı sayabilirim?"

İki hata ölçütü vardır:

\text{FWER}=P(V\ge 1),\qquad \text{FDR}=E\!\left[\frac{V}{\max(R,1)}\right]
  • m: test sayısı; R: reddedilen hipotez sayısı; V: bunlardan yanlışlıkla reddedilenler (doğru H_0'lar).
  • FWER (aile bazında hata oranı): en az bir yanlış ret olasılığı. Bonferroni, Šidák, Holm, Hochberg, Hommel, Holm–Šidák bunu \alpha'da tutar.
  • FDR (yanlış keşif oranı): retler içindeki yanlışların beklenen payı. Benjamini–Hochberg, Benjamini–Yekutieli, iki aşamalı BH, BKY ve Storey q bunu denetler.

İki giriş modu. (1) p-değer listesi: kullanıcı başka analizlerden gelen p'leri yapıştırır. (2) Veriden: bir grup ve bir ölçüm sütunu seçilir; her düzey referansa karşı ya da tüm çiftler için iki örneklem testi (Welch t, Student t, havuzlanmış SS t, Mann–Whitney U) çalıştırılır, üretilen ham p'ler p-kutusuna yazılır ve aynı düzeltmeler uygulanır.

Ne zaman kullanılır? Aynı soruya bağlı birden çok test yapıldığında: birden çok sonlanım, birden çok alt grup, kontrollere karşı birden çok tedavi, korelasyon matrisi, gen çapında taramalar.

Ne zaman kullanılmaz?

  • Tek yönlü ANOVA içinde grup ortalamaları karşılaştırılacaksa: Tek Yönlü ANOVA'nın post hoc seçenekleri (Tukey, Dunnett) daha güçlüdür; çünkü testler arasındaki ilişkiyi (ortak MS_W, ortak kontrol) kesin dağılımla hesaba katarlar (Bölüm 7.5.7–7.5.9).
  • Grupların genel ortalamadan sapması sorulacaksa: ANOM (Bölüm 8).
  • Testler birbirinden bağımsız sorulara aitse (farklı çalışmalar, farklı araştırma soruları): aile tanımı yoktur, düzeltme gerekmez.

Sık karıştırılan analizler. Bu modül p değerlerini sonradan düzeltir; testlerin kendisini yapmaz (Veriden modu hariç, orada da yalnız iki örneklem testlerini yapar). Post hoc testler (Tukey, Games–Howell) ise ham verinin ortak yapısını kullanır ve eşzamanlı güven aralığı da verir; bu modül GA vermez.

17.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Geçerli ham p'ler Her p, kendi testinin varsayımları altında doğru hesaplanmıştır ve H_0 altında Uniform(0, 1)'dir. Denetlenmez; yalnız 0\le p\le1 aralığı denetlenir (multiple_comparison.py:236–240).
Bağımlılık yapısı Bonferroni, Holm, BY her bağımlılıkta geçerlidir. Šidák, Holm–Šidák bağımsızlık ya da pozitif ortant bağımlılığı ister. Hochberg, Hommel ve BH bağımsızlık ya da pozitif regresyon bağımlılığı (PRDS) ister. Denetlenmez; yöntem seçimi kullanıcıya kalır. Sonuç metni "Bağımlı testler: BY" önerisini yazar.
Aile tanımı Hangi testlerin birlikte düzeltileceği önceden belirlenmiştir. Denetlenmez.

Giriş biçimi (_parse_p_values, multiple_comparison.py:132–242). ; yeni satıra çevrilir; # ile başlayan satırlar not sayılır ve sonuç metnine "Kaynak" olarak taşınır. Her satır şu sırayla denenir: (i) Etiket: p (iki noktadan sonraki kısımda virgül yoksa), (ii) virgülle ayrılmış birden çok değer, (iii) tek değer. Etiketsiz değerlere Test1, Test2, … adı verilir.

Uç durumlar.

  • Liste boşsa ya da geçerli değer yoksa hata; tek p değeri varsa hata: "En az 2 p-değer gerekli" (multiple_comparison.py:633–637).
  • p<0 ya da p>1 ise hata ve sıra numarası yazılır.
  • \alpha (0{,}1) dışında ise hata; formdaki kutu 0,001–0,999 aralığındadır.
  • m<5 ise "çok az, düzeltme gerekli olmayabilir", m>1000 ise "FDR yöntemleri tercih edilmeli" uyarısı yazılır (multiple_comparison.py:695–702).
  • Veriden modunda üretim başarısız olursa p-kutusu temizlenir, #! işaretli hata satırı yazılır ve Çalıştır açık hata verir; eski p'ler sessizce kullanılmaz (multiple_comparison.py:555–562, 571–574).

Ayrıştırılamayan satırlar

Etiketle değer son iki noktadan ayrılır; etiketinde iki nokta geçen C:D: 0.04 satırı "C:D" etiketiyle okunur. Satırda tek değer varsa ondalık virgül (0,03, A: 0,03) okunur ve okunan virgüllü değer sayısı yazılır. Ondalık virgülün liste virgülünden ayırt edilemediği satır (0,01,0,03) açık hatayla reddedilir; listeyi ; ile ayırın. Sayıya çevrilemeyen satırlar (p = 0.04 gibi) aileye girmez, ama sessizce düşmez: sayıları ve içerikleri uyarıda yazılır. Bu durumda m küçülür; uyarı ve "Test sayısı" satırı beklenen m ile karşılaştırılmalıdır.

17.3 Parametreler

Varsayılanlar multiple_comparison.py:438–598 içinden okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
p-değerleri boş Satır başına bir p; Etiket: p; virgüllü liste; # not satırı. Düzeltilecek aile.
α (anlamlılık seviyesi) 0,050 Karar eşiği. Yıldızlar ve "anlamlı" sayıları; iki aşamalı yöntemlerde düzeltilmiş p'nin kendisi de \alpha'ya bağlıdır (17.5.6).
Giriş modu p-değer listesi (yapıştır) Veriden seçilirse grup/ölçüm sütunlarından p üretilir; p-kutusu salt okunur olur.
Grup sütunu, Ölçüm sütunu ilk uygun sütunlar Veriden modunda karşılaştırılacak gruplar ve sürekli değişken.
Karşılaştırma her grup referansa (kontrol) karşı Ya da "tüm ikili çiftler". m=k-1 ya da m=k(k-1)/2.
Referans (kontrol) düzeyi boş Boşsa "control/kontrol/placebo/plasebo" adlı düzey, yoksa verideki ilk düzey (multiple_comparison.py:260–266). Hangi farkların sınanacağı.
İkili test Welch t-testi Welch t; Student t (eşit varyans); havuzlanmış SS t (N-k sd, R pairwise.t.test(pool.sd = TRUE)); Mann–Whitney U. Ham p'ler.
Ek yöntemler: Holm-Šidák, TSBH, BKY, Storey q kapalı Tabloya ek sütunlar. Ek sütun; yedi temel yöntem her zaman verilir.

Neden α değişince TSBH ve BKY sütunu da değişir?

İki aşamalı yöntemler önce gerçek H_0 sayısını (m_0) birinci aşamadaki ret sayısından kestirir ve bu ret sayısı \alpha'ya bağlıdır. statsmodels'in verdiği "düzeltilmiş p", bu \alpha'ya özgü \hat m_0 ile çarpılmış BH p'sidir. Bu yüzden aynı ham p'ler, \alpha=0{,}05 ve \alpha=0{,}10 ile farklı TSBH p'leri verebilir. Bonferroni'den Storey'ye kadar öteki yöntemlerin düzeltilmiş p'si \alpha'dan bağımsızdır.

17.4 Tıp örneği

Dosya: english/datasets/Tip/13_multiple_comparison_antikoagulan.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/13_coklu_karsilastirma_antikoagulan.xlsx).

Değişken Rol Tür Açıklama
drug Grup sütunu metin, 9 düzey Varfarin (ilk düzey, referans) ve drug-1 … drug-8
INR_stability_ratio Ölçüm sütunu sürekli (0–1) Hedef INR aralığında geçen sürenin oranı; yüksek değer daha iyi.
patient_id kullanılmaz

n ve eksik değer: 180 hasta, her kolda 20; eksik değer yoktur.

Klinik soru: Sekiz yeni antikoagülandan hangileri INR kararlılığında Varfarin'den farklıdır? Sekiz karşılaştırma tek bir aile oluşturur.

Seçilen ayarlar: Giriş modu = Veriden; Karşılaştırma = her grup referansa karşı; Referans boş (adında "control" olan düzey olmadığı için ilk düzey Varfarin seçilir); İkili test = Welch; \alpha=0{,}05. Dört ek yöntem de işaretlendi. Öteki üç ikili test ayrıca çalıştırıldı.

17.5 Formüller ve hesap adımları

MerQur'un sırası: (1) Veriden modundaysa ham p'leri üret ve p-kutusuna etiket: p satırları olarak yaz; (2) metni ayrıştır; (3) her yöntem için multipletests(p, alpha, method) çağır; düzeltilmiş p'yi 6 ondalığa yuvarla (6 ondalıkta sıfır görünecek kadar küçükse 4 anlamlı basamak); (4) istenen ek yöntemleri ekle; (5) metin, tablo ve grafik üret.

Aşağıda p_{(1)}\le\dots\le p_{(m)} sıralı ham p'ler, \tilde p_{(i)} düzeltilmiş p'ler; tüm düzeltilmiş p'ler en çok 1'e kırpılır. Karar: \tilde p\le\alpha ise H_0 reddedilir (statsmodels <= kullanır; sonuç metnindeki ★ dipnotu "ham p<\alpha; düzeltilmiş p\le\alpha" diye iki kuralı ayrı yazar).

17.5.1 Veriden modunda ham p'ler

t_W=\frac{\bar y_g-\bar y_r}{\sqrt{s_g^2/n_g+s_r^2/n_r}},\qquad \nu=\frac{\left(s_g^2/n_g+s_r^2/n_r\right)^2}{\dfrac{s_g^4}{n_g^2(n_g-1)}+\dfrac{s_r^4}{n_r^2(n_r-1)}},\qquad p=2P(T_\nu\ge\lvert t_W\rvert)
  • g: karşılaştırılan düzey; r: referans düzeyi. Fark \bar y_g-\bar y_r yönündedir (etiket "drug-1 vs Varfarin").
  • Student: havuzlanmış iki grup varyansı, n_g+n_r-2 sd. Havuzlanmış SS: tüm grupların SS_W/(N-k)'sı, N-k sd (multiple_comparison.py:335–363).
  • Mann–Whitney: scipy mannwhitneyu(..., alternative="two-sided") "auto" kuralıyla: iki grup da 8'den büyükse ya da bağ varsa süreklilik düzeltmeli normal yaklaşım, aksi halde kesin dağılım (multiple_comparison.py:364–374). Kullanılan yol p-kutusuna # notu olarak yazılır.
  • Eksik ya da sayısal olmayan satırlar liste bazında atılır; düzey sırası verideki görülme sırasıdır.

Koddaki tercih

Bir testin p'si tanımsız çıkarsa (ör. iki grupta da tüm değerler aynı olduğunda Welch t=0/0) MerQur bu p'yi 1 yapar ve hangi testte tanımsız olduğunu not olarak yazar (multiple_comparison.py:375–379). Böyle bir çift ailede kalır ve m'yi büyütür; R t.test aynı durumda "data are essentially constant" hatası verir.

17.5.2 Tek adımlı FWER yöntemleri

\tilde p_i^{\text{Bonf}}=\min\left(1,\ m\,p_i\right),\qquad \tilde p_i^{\text{Šidák}}=1-\left(1-p_i\right)^m
  • Bonferroni: Boole eşitsizliğinden; P(\bigcup A_i)\le\sum P(A_i). Her bağımlılık yapısında FWER \le\alpha.
  • Šidák: testler bağımsızsa P(\text{hiç yanlış ret yok})=(1-\alpha')^m; \alpha'=1-(1-\alpha)^{1/m} eşiği FWER'i tam \alpha yapar. statsmodels bunu sayısal kayıpsız biçimde -\mathrm{expm1}(m\log1p(-p)) olarak hesaplar.

17.5.3 Adım-aşağı FWER yöntemleri: Holm ve Holm–Šidák

\tilde p_{(i)}^{\text{Holm}}=\max_{j\le i}\ \min\!\left\{1,\ (m-j+1)\,p_{(j)}\right\},\qquad \tilde p_{(i)}^{\text{HS}}=\max_{j\le i}\left[1-\left(1-p_{(j)}\right)^{m-j+1}\right]

Neden adım-aşağı ve neden kümülatif en büyük?

Holm (1979) kapalı test ilkesinden çıkar: en küçük p, m hipotezli aileye karşı (\alpha/m), ikincisi kalan m-1 hipotezli aileye karşı (\alpha/(m-1)) sınanır ve ilk "red yok"ta durulur. Her adım öncekinden daha gevşek eşik kullandığı için Holm her durumda Bonferroni'den güçlüdür, yine de her bağımlılıkta FWER'i korur. "Kümülatif en büyük" (\max_{j\le i}), durma kuralının düzeltilmiş p'ye çevrilmesidir: daha küçük bir p reddedilmemişse büyük olan da reddedilemez, bu yüzden düzeltilmiş p'ler sıralı ham p'lerle aynı sırada artmak zorundadır (Wright 1992).

17.5.4 Adım-yukarı FWER yöntemleri: Hochberg ve Hommel

\tilde p_{(i)}^{\text{Hoch}}=\min_{j\ge i}\ \min\!\left\{1,\ (m-j+1)\,p_{(j)}\right\}
\tilde p_i^{\text{Hommel}}=\max_{I\ni i}\ \text{Simes}(I),\qquad \text{Simes}(I)=\min_{l=1,\dots,\lvert I\rvert}\frac{\lvert I\rvert\,p_{(l):I}}{l}
  • Hochberg: Holm'la aynı eşikleri büyük p'den başlayarak kullanır; ilk "red"de durur ve daha küçük tüm p'leri reddeder.
  • Hommel: tüm alt aileler I üzerinde Simes (1986) testiyle kapalı test; p_{(l):I}, I içindeki l. en küçük p'dir.
  • Güç sıralaması (aynı veride): Holm ≤ Hochberg ≤ Hommel; üçü de FWER'i bağımsızlık ya da PRDS altında korur.

Koddaki tercih

statsmodels Hommel'i, R p.adjust("hommel") ile aynı kısa yol algoritmasıyla hesaplar (m döngüsü, 2^m alt küme taranmaz). Bağımsız Python doğrulaması ise tanımı kelimesi kelimesine uygular: m=8 için 255 alt kümenin her biri için Simes p'si alınır, her hipotez için kendini içeren alt kümelerin en büyüğü seçilir (dogrulama/multiple_comparison/elle_hesap.py). İki yol 10^{-15} düzeyinde eşleşir.

17.5.5 FDR yöntemleri: Benjamini–Hochberg ve Benjamini–Yekutieli

\tilde p_{(i)}^{\text{BH}}=\min_{j\ge i}\ \min\!\left\{1,\ \frac{m}{j}\,p_{(j)}\right\},\qquad \tilde p_{(i)}^{\text{BY}}=\min_{j\ge i}\ \min\!\left\{1,\ c_m\frac{m}{j}\,p_{(j)}\right\},\qquad c_m=\sum_{l=1}^{m}\frac1l

Neden m/j ve neden c_m?

BH kuralı "en büyük i için p_{(i)}\le i\alpha/m ise ilk i hipotezi reddet"tir. Bağımsız (ya da PRDS) testlerde FDR =\frac{m_0}{m}\alpha\le\alpha olur (Benjamini ve Hochberg 1995). Eşik i ile doğrusal arttığı için çok testte FWER yöntemlerinden çok daha güçlüdür. Keyfi bağımlılıkta aynı garanti için eşik c_m kadar sıkılaştırılır (Benjamini ve Yekutieli 2001); m=8'de c_8=2{,}717857.

17.5.6 Ek yöntemler: iki aşamalı BH, BKY ve Storey q

İki aşamalı yöntemler (multipletests(..., method="fdr_tsbh" | "fdr_tsbky"), statsmodels fdrcorrection_twostage, tek yineleme):

r_1=\#\{\text{BH ile } \alpha' \text{ düzeyinde ret}\},\qquad \hat m_0=m-r_1,\qquad \tilde p^{\,2a}_{(i)}=\tilde p^{\,\text{BH}}_{(i)}\cdot\frac{\hat m_0}{m}\cdot f
  • TSBH: \alpha'=\alpha, f=1. BKY (Benjamini, Krieger ve Yekutieli 2006): \alpha'=\alpha/(1+\alpha), f=1+\alpha.
  • r_1=0 ya da r_1=m ise ikinci aşama yapılmaz: \tilde p=\tilde p^{\,\text{BH}}\cdot f.
  • \hat m_0/m: gerçek H_0 oranının kestirimi; BH'nin içindeki m_0/m tutuculuğunu geri alır.
  • \hat m_0 birinci aşamada \alpha ile kestirildiği için düzeltilmiş p'nin kendisi \alpha'ya bağlıdır; sonuç metni bunu kullanılan \alpha ile not eder.

Storey q-değeri (_storey_q, multiple_comparison.py:85–98):

\hat\pi_0=\min\!\left\{1,\ \frac{1+\#\{p_i>\lambda\}}{m(1-\lambda)}\right\},\quad \lambda=0{,}5,\qquad q_{(i)}=\min\!\left\{1,\ \hat\pi_0\,\tilde p^{\,\text{BH}}_{(i)}\right\}
  • \hat\pi_0: gerçek H_0 oranı; H_0 p'leri Uniform olduğundan \lambda'nın üstündeki p sayısı yaklaşık m\pi_0(1-\lambda)'dır.
  • +1 terimi Storey, Taylor ve Siegmund (2004) sonlu örneklem biçimidir; hiç p>\lambda yokken \hat\pi_0=0 olmasını önler.
  • q için karar q\le\alpha'dır (multiple_comparison.py:668–670).

R qvalue ile fark

R qvalue::qvalue(p, lambda = 0.5) +1 terimini kullanmaz: bu veride \hat\pi_0=1/4=0{,}25, MerQur 2/4=0{,}50 verir; MerQur'un q'ları R'nin iki katıdır. MerQur bu farkı sonuç metninde yazar ("+1 terimi olmayan klasik tanımla … π̂₀ = 0.2500"). Ayrıca qvalue varsayılanı tek \lambda değil, \lambda ızgarası üzerinde düzgünleştirilmiş kestirimdir; MerQur'un değeriyle karşılaştırmak için R'de qvalue(p, pi0 = 0.5) kullanılmalıdır (17.6.1'deki R sütunu böyle hesaplanmıştır).

Koddaki tercih

Bütün yöntemlerin (yedi temel ve dört ek) düzeltilmiş p'leri p_yuvarla(p, 6) ile saklanır: 10^{-6}'dan küçük değerler 0 yerine 4 anlamlı basamakla. Bu veride drug-5 için TSBH, BKY ve Storey q 3{,}72\times10^{-7}, 3{,}91\times10^{-7} ve 3{,}72\times10^{-7}; BH 7{,}45\times10^{-7} olarak saklanır.

17.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Aşağıdaki ara değerler dogrulama/multiple_comparison/elle_hesap.py ile, MerQur ve statsmodels çağrılmadan hesaplanmıştır.

Adım 1 — Sekiz Welch testi (her kolda n=20; Varfarin ortalaması 0,671150, SS 0,127688).

Karşılaştırma \bar y_g s_g Fark t_W \nu ham p
drug-1 vs Varfarin 0,69895 0,111137 0,02780 0,734436 37,29 0,467277
drug-2 vs Varfarin 0,74465 0,127259 0,07350 1,823336 38,00 0,076126
drug-3 vs Varfarin 0,83880 0,093002 0,16765 4,746258 34,73 3{,}50\times10^{-5}
drug-4 vs Varfarin 0,70890 0,084209 0,03775 1,103740 32,90 0,277714
drug-5 vs Varfarin 0,90615 0,088961 0,23500 6,753226 33,93 9{,}31\times10^{-8}
drug-6 vs Varfarin 0,68230 0,086506 0,01115 0,323307 33,41 0,748478
drug-7 vs Varfarin 0,78800 0,100654 0,11685 3,214036 36,04 0,002759
drug-8 vs Varfarin 0,79930 0,114648 0,12815 3,339666 37,57 0,001904

Ham p<0{,}05 olan 4 test vardır: drug-3, drug-5, drug-7, drug-8.

Adım 2 — Sıralama ve adımlı çarpanlar.

i Test p_{(i)} Holm (m-i+1)p BH \frac{m}{i}p BY c_8\frac{m}{i}p
1 drug-5 9{,}31\times10^{-8} 7{,}45\times10^{-7} 7{,}45\times10^{-7} 2{,}02\times10^{-6}
2 drug-3 3{,}50\times10^{-5} 0,000245 0,000140 0,000380
3 drug-8 0,001904 0,011423 0,005077 0,013798
4 drug-7 0,002759 0,013795 0,005518 0,014998
5 drug-2 0,076126 0,304506 0,121802 0,331041
6 drug-4 0,277714 0,833142 0,370285 1,006383
7 drug-1 0,467277 0,934553 0,534030 1,451418
8 drug-6 0,748478 0,748478 0,748478 2,034259

Holm için kümülatif en büyük alınır: 8. sıradaki 0,748478, 7. sıradaki 0,934553'ten küçük olduğu için drug-6'nın Holm p'si 0,934553 olur. BH ve BY için sondan kümülatif en küçük alınır ve 1'e kırpılır: BY'de drug-4, drug-1 ve drug-6 için 1.

Adım 3 — Hochberg ve Hommel. Hochberg sondan kümülatif en küçük: \min(0{,}748478,\ 2\times0{,}467277,\ 3\times0{,}277714,\ \dots); drug-1, drug-4 ve drug-6 için 0,748478, drug-2 için 4\times0{,}076126=0{,}304506, drug-8 için 6\times0{,}001904=0{,}011423. Hommel drug-8'de daha küçüktür: drug-8'i içeren alt aileler arasında Simes p'si en büyük olan {drug-8, drug-2, drug-4, drug-1, drug-6} ailesidir; Simes =\min(5\times0{,}001904/1,\ 5\times0{,}076126/2,\ \dots)=0{,}009519.

Adım 4 — Tek adımlı yöntemler. drug-8: Bonferroni 8\times0{,}001904=0{,}015230; Šidák 1-(1-0{,}001904)^8=0{,}015129.

Adım 5 — İki aşamalı yöntemler ve Storey. BH'de \alpha=0{,}05 ile 4 ret (r_1=4), \hat m_0=4: TSBH =\tilde p^{\,\text{BH}}\times4/8; drug-8 için 0{,}005077\times0{,}5=0{,}002538. BKY'de \alpha'=0{,}05/1{,}05=0{,}047619 ile yine 4 ret; drug-8 için 0{,}005077\times0{,}5\times1{,}05=0{,}002665. Storey: p>0{,}5 olan tek test drug-6'dır; \hat\pi_0=(1+1)/(8\times0{,}5)=0{,}5; q=0{,}5\times\tilde p^{\,\text{BH}}, bu veride TSBH ile aynı sayıları verir.

Adım 6 — Kararlar. On bir yöntemin tamamı aynı dört testi (drug-3, drug-5, drug-7, drug-8) reddeder. drug-2 (ham p=0{,}076) hiçbir yöntemde anlamlı değildir; en liberal yöntemler (TSBH ve Storey q) bile 0{,}0609 verir.

Şekil 17.1. Sekiz testin ham ve düzeltilmiş p değerleri (log ölçek), ham p'ye göre sıralı. Kesikli çizgi α = 0,05. FWER yöntemleri (Bonferroni, Holm, Hommel) FDR yöntemlerinin (BH) üstünde kalır; BY ikisinin arasındadır.

17.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri pvalues_from_data ve execute çağrılarından alınmıştır (dogrulama/multiple_comparison/merqur_calistir.py); modüldeki p_yuvarla ve round adları yalnız bellekte etkisizleştirilmiştir. Bağımsız Python hesabı her yöntemi tanımından uygular (Hommel için 255 alt kümenin tamamı). R 4.5.3: t.test, p.adjust (bonferroni, holm, hochberg, hommel, BH, BY), Šidák için 1-(1-p)^m, multtest::mt.rawp2adjp (SidakSD = Holm–Šidák, TSBH), BKY için p.adjust("BH") üzerinden elle iki aşama (multtest'in TSBH'si \alpha'=\alpha kullanır ve MerQur'un TSBH'siyle aynıdır), qvalue(p, pi0 = 0.5), pairwise.t.test(pool.sd = TRUE), wilcox.test(exact = FALSE, correct = TRUE). Ölçüt: en büyük mutlak fark \le 10^{-6}.

Büyüklük (örnek: drug-8 vs Varfarin) MerQur Python (bağımsız) R 4.5.3 En büyük fark (8 test) Durum
Welch t 3,339666 3,339666 3,339666 7,8e−15 ✓
Ham p (Welch) 0,001904 0,001904 0,001904 2,2e−15 ✓
Bonferroni: düzeltilmiş p 0,015230 0,015230 0,015230 6,9e−17 ✓
Šidák: düzeltilmiş p 0,015129 0,015129 0,015129 1,3e−15 ✓
Holm: düzeltilmiş p 0,011423 0,011423 0,011423 4,4e−15 ✓
Hochberg: düzeltilmiş p 0,011423 0,011423 0,011423 2,2e−15 ✓
Hommel: düzeltilmiş p 0,009519 0,009519 0,009519 2,2e−15 ✓
Benjamini–Hochberg: düzeltilmiş p 0,005077 0,005077 0,005077 2,2e−15 ✓
Benjamini–Yekutieli: düzeltilmiş p 0,013798 0,013798 0,013798 1,1e−16 ✓
Holm–Šidák: düzeltilmiş p 0,011369 0,011369 0,011369 ᵃ 2,2e−15 ✓
İki aşamalı BH (TSBH): düzeltilmiş p 0,002538 0,002538 0,002538 ᵇ 1,6e−15 ✓
BKY iki aşamalı: düzeltilmiş p 0,002665 0,002665 0,002665 ᶜ 1,4e−15 ✓
Storey q: düzeltilmiş p 0,002538 0,002538 0,002538 ᵈ 1,6e−15 ✓
Storey \hat\pi_0 0,500000 0,500000 0,500000 0,0e+00 ✓
Ham p, Student t 0,001889 0,001889 0,001889 2,3e−15 ✓
Ham p, havuzlanmış SS t 0,000161 0,000161 0,000161 2,3e−15 ✓
Ham p, Mann–Whitney U 0,003054 0,003054 0,003054 3,3e−16 ✓

ᵃ multtest SidakSD. ᵇ multtest TSBH_0.05. ᶜ R'de hazır karşılık yok; p.adjust("BH") ile iki aşama elle. ᵈ qvalue(p, pi0 = 0.5); MerQur'un \hat\pi_0 tanımıyla.

Sonuç: 17 satırın tamamı (her satırda 8 test) ölçütü karşılar; en büyük fark 7{,}8\times10^{-15}'tir.

17.7 Çıktıyı okuma

MerQur'un sonuç metni (kısaltılmış):

══ ÇOKLU KARŞILAŞTIRMA DÜZELTMESİ ══
Test sayısı  : 8
α            : 0.050
Orijinal ham : 4/8 anlamlı
Kaynak       : p'ler veriden üretildi — grup: drug, ölçüm: INR_stability_ratio, ...

── DÜZELTİLMİŞ p-DEĞERLERİ ──   (ilk sütunlar; Sidak, BY ve ek yöntemler kesildi)
Test                    Orijinal       Bonf       Holm       Hoch       Homm         BH
drug-1 vs Varfarin        0.4673    1.0000     0.9346     0.7485     0.7485     0.5340
drug-3 vs Varfarin       <0.0001    0.0003★    0.0002★    0.0002★    0.0002★    0.0001★
drug-8 vs Varfarin        0.0019    0.0152★    0.0114★    0.0114★    0.0095★    0.0051★
TOPLAM ANLAMLI                4/8        4/8        4/8        4/8        4/8        4/8
...
Gerçek H₀ oranı kestirimi π̂₀ = 0.5000
Satır / Öğe Ne yazar Nasıl yorumlanır
Test sayısı Ayrıştırılan p sayısı m Beklenen sayıyla karşılaştırın; atlanan satır varsa burada görünür.
Orijinal ham p<\alpha olan ham p sayısı Düzeltme öncesi durum.
Kaynak # satırları (Veriden modunda test ve referans bilgisi) Hangi testlerden üretildiğini belgeler.
Tablo sütunları Her yöntemin düzeltilmiş p'si, ★ = ret p'ler 4 ondalık, 0,0001'in altı "<0.0001". Tam değerler Tablo sekmesindedir.
TOPLAM ANLAMLI Yöntem başına ret sayısı Yöntemler arası tutarlılık denetimi.
HANGİ YÖNTEMİ KULLANMALI? Sabit öneri listesi Veriye bağlı değildir; yöntemi çalışma planında seçin.
π̂₀ satırları Storey kestirimi ve +1'siz karşılığı Yalnız Storey q seçildiğinde.
Grafik Yöntem başına anlamlı test sayısı (yatay çubuk)

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

Sekiz yeni antikoagülan, INR kararlılık oranında Varfarin ile Welch t testleriyle karşılaştırıldı; aile bazında hata oranı Holm yöntemiyle denetlendi. drug-5 (t(33{,}93) = 6{,}75, Holm düzeltilmiş p < 0{,}001), drug-3 (t(34{,}73) = 4{,}75, p < 0{,}001), drug-8 (t(37{,}57) = 3{,}34, p = 0{,}011) ve drug-7 (t(36{,}04) = 3{,}21, p = 0{,}014) Varfarin'den anlamlı düzeyde yüksek kararlılık gösterdi; öteki dört ilaçta fark anlamlı değildi (tümü düzeltilmiş p \ge 0{,}30). Benjamini–Hochberg yanlış keşif oranı denetimi aynı dört karşılaştırmayı anlamlı buldu.

17.8 Uzman soruları

S1. Sekiz Welch testi neden Dunnett yerine p-düzeltmesiyle birleştiriliyor?

Dunnett, ortak kontrol ortalamasından gelen pozitif korelasyonu (bu tasarımda 0,5) kesin dağılımla kullanır ve Bonferroni/Holm'dan daha güçlüdür; ama ortak MS_W ve eşit varyans varsayar. Welch testleri her çiftin kendi varyansını kullanır ve ilişkiyi yok sayar; Holm her bağımlılıkta geçerli olduğu için güvenli ama biraz tutucudur. Varyanslar benzer ise ANOVA modülündeki Dunnett (kontrol = Varfarin) daha güçlü seçimdir.

S2. Hommel neden drug-8'de Hochberg'den küçük?

Hommel tüm alt aileleri Simes testiyle sınar; Hochberg ise yalnız "en büyük j p" biçimindeki alt aileleri kullanır. drug-8'i içeren en zor alt aile, iki küçük p'yi (drug-5, drug-3) ve drug-7'yi dışarıda bırakan beşli ailedir; Simes p'si 5\times0{,}001904=0{,}009519'dur. Hochberg'in o test için kullandığı çarpan 6'dır (0{,}011423). Hommel her zaman Hochberg'den güçlü ya da ona eşittir.

S3. BY ile BH arasındaki 2,72 kat fark nereden geliyor?

c_8=1+1/2+\dots+1/8=2{,}717857. BY bu katsayıyla her türlü bağımlılıkta FDR'yi korur; BH ise bağımsızlık ya da PRDS ister. Ortak Varfarin grubuna karşı yapılan testler pozitif bağımlıdır (PRDS koşulu sağlanır); bu durumda BH yeterlidir ve BY gereksiz yere tutucudur.

S4. TSBH ve Storey q bu veride neden aynı?

TSBH çarpanı \hat m_0/m=4/8, Storey çarpanı \hat\pi_0=(1+1)/4=0{,}5'tir; ikisi de BH p'sini 0,5 ile çarpar. Rastlantısal bir eşitliktir: TSBH m_0'ı ret sayısından, Storey p>0{,}5 olan test sayısından kestirir.

S5. İki aşamalı yöntemlerin "düzeltilmiş p"si neden \alpha'ya bağlı?

Birinci aşamadaki ret sayısı r_1, \alpha ile değişir; \hat m_0=m-r_1 ve düzeltilmiş p bu sayıyla çarpılır (17.5.6). Bu yüzden TSBH ve BKY sütunları klasik anlamda "her \alpha için geçerli" düzeltilmiş p değildir; yalnız seçilen \alpha'daki karar yorumlanmalıdır. Rapora "BKY, q = 0{,}05 ile" biçiminde düzeyle birlikte yazılmalıdır.

S6. Storey \hat\pi_0 neden R qvalue'dan farklı?

MerQur Storey, Taylor ve Siegmund (2004) sonlu örneklem biçimini kullanır: kesrin payında +1 terimi vardır. R qvalue klasik biçimi (+1'siz) ve varsayılan olarak \lambda ızgarasında düzgünleştirmeyi kullanır. Küçük m'de fark büyüktür (bu veride 0,50 ve 0,25); m binlerle ölçülünce önemsizleşir. MerQur iki değeri de yazar.

S7. Bir test tanımsız p verdiğinde ne olur?

Veriden modunda tanımsız p 1 yapılır ve bu bir notla yazılır (17.5.1). Örneğin bir kolun ve kontrolün tüm değerleri aynıysa Welch t=0/0'dır; MerQur bu çifti p=1 ile aileye katar. p=1 düzeltmelerin sıralamasına girer ve m'yi bir artırır; sonuç biraz tutuculaşır ama yanlış ret üretmez. Yine de böyle bir çift raporda açıklanmalıdır.

S8. Mann–Whitney p'leri R wilcox.test ile neden farklı olabilir?

MerQur scipy "auto" kuralını kullanır: iki grup da 8'den büyükse ya da bağ varsa süreklilik düzeltmeli normal yaklaşım. R wilcox.test bağsız ve n<50 ise kesin p hesaplar. Bu veride bağ olduğu için iki program da normal yaklaşıma geçer ve 3\times10^{-16} içinde eşleşir. Bağsız küçük örneklemlerde R ile karşılaştırırken exact = FALSE, correct = TRUE verilmelidir.

17.9 Sık hatalar ve tuzaklar

  • Ondalık virgüllü değerleri virgülle listelemek. 0,01,0,03 gibi bir satır ayırt edilemez ve reddedilir; değerleri ; ya da satır başıyla ayırın.
  • Ayrıştırılamayan satır uyarısını görmezden gelmek. p = 0.04 gibi satırlar aileye girmez ve uyarıda listelenir; "Test sayısı" satırını denetleyin.
  • Aile tanımını sonradan değiştirmek. Anlamlı çıkmayan testleri listeden çıkarıp yeniden düzeltmek FWER/FDR garantisini bozar.
  • İki aşamalı yöntemin p'sini başka \alpha ile yorumlamak. TSBH/BKY p'si seçilen \alpha'ya özgüdür.
  • Bağımsızlık varsayan yöntemi her yerde kullanmak. Šidák, Hochberg, Hommel ve BH negatif bağımlılıkta garanti vermez; emin değilseniz Holm (FWER) ya da BY (FDR).
  • "HANGİ YÖNTEMİ KULLANMALI?" listesini veri sonucu sanmak. Liste sabittir; yöntem çalışma planında, veriye bakmadan seçilmelidir.
  • Referans düzeyini kontrol etmemek. Boş bırakılırsa adında "control/kontrol/placebo" geçen düzey, yoksa verideki ilk düzey referans olur.
  • Veriden modunda üretilen p'leri ham p sanmamak. p-kutusundaki değerler düzeltilmemiş p'lerdir; raporda düzeltilmiş sütun kullanılmalıdır.

17.10 Kaynaklar

  • Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
  • Benjamini, Y., Krieger, A. M., & Yekutieli, D. (2006). Adaptive linear step-up procedures that control the false discovery rate. Biometrika, 93(3), 491–507. https://doi.org/10.1093/biomet/93.3.491
  • Benjamini, Y., & Yekutieli, D. (2001). The control of the false discovery rate in multiple testing under dependency. The Annals of Statistics, 29(4), 1165–1188. https://doi.org/10.1214/aos/1013699998
  • Dunn, O. J. (1961). Multiple comparisons among means. Journal of the American Statistical Association, 56(293), 52–64. https://doi.org/10.1080/01621459.1961.10482090
  • Hochberg, Y. (1988). A sharper Bonferroni procedure for multiple tests of significance. Biometrika, 75(4), 800–802. https://doi.org/10.1093/biomet/75.4.800
  • Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70.
  • Hommel, G. (1988). A stagewise rejective multiple test procedure based on a modified Bonferroni test. Biometrika, 75(2), 383–386. https://doi.org/10.1093/biomet/75.2.383
  • Marcus, R., Peritz, E., & Gabriel, K. R. (1976). On closed testing procedures with special reference to ordered analysis of variance. Biometrika, 63(3), 655–660. https://doi.org/10.1093/biomet/63.3.655
  • Šidák, Z. (1967). Rectangular confidence regions for the means of multivariate normal distributions. Journal of the American Statistical Association, 62(318), 626–633. https://doi.org/10.1080/01621459.1967.10482935
  • Simes, R. J. (1986). An improved Bonferroni procedure for multiple tests of significance. Biometrika, 73(3), 751–754. https://doi.org/10.1093/biomet/73.3.751
  • Storey, J. D. (2002). A direct approach to false discovery rates. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 64(3), 479–498. https://doi.org/10.1111/1467-9868.00346
  • Storey, J. D., Taylor, J. E., & Siegmund, D. (2004). Strong control, conservative point estimation and simultaneous conservative consistency of false discovery rates: A unified approach. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 66(1), 187–205. https://doi.org/10.1111/j.1467-9868.2004.00439.x
  • Wright, S. P. (1992). Adjusted p-values for simultaneous inference. Biometrics, 48(4), 1005–1013. https://doi.org/10.2307/2532694