MerQuR+Başvuru Kitabı

38. Doğrusal modelde özel kontrastlar (L matrisi)

Şablon kimliği: ozel_kontrast · Kategori: model · Dil: Python · Dosya: pro/sablonlar/model/ozel_kontrast.py (satır 1–421; üstbilgi 1–71) · Örnek veri: _ornek/gruplu_verim.csv · Paketler: numpy, pandas, scipy (stats.t), statsmodels 0.14.6 (stats.multitest.multipletests), matplotlib; temel programın stats/contrasts_L.py modülü

38.1 Ne işe yarar

Varyans analizinin genel F testi "gruplar arasında herhangi bir fark var mı?" diye sorar; araştırmacının sorusu ise çoğu kez daha belirlidir: "İki gübrenin ortalaması kontrolden farklı mı?" Şablon, grup ortalamalarının kullanıcının yazdığı doğrusal bileşimlerini (kontrastları) kestirir, her birini t testiyle sınar ve birden çok kontrast için çoklu karşılaştırma düzeltmesi uygular.

y_i=\sum_{j=1}^{k}\mu_j D_{ij}+\sum_{h=1}^{r}\gamma_h\,(x_{ih}-\bar x_h)+\varepsilon_i,\qquad \psi=\sum_{j=1}^{k}c_j\mu_j,\qquad H_0:\ \psi=\psi_0
  • D_{ij}: i. gözlem j. gruptaysa 1, değilse 0. Sabit terim yoktur; her grubun kendi katsayısı \mu_j vardır (hücre ortalamaları parametrelemesi).
  • x_{ih}: isteğe bağlı ortak değişkenler; ortalamalarından arındırılarak girer. Bu yüzden \mu_j, ortak değişkenlerin örneklem ortalamasındaki düzeltilmiş grup ortalamasıdır; ortak değişken yoksa sıradan grup ortalamasıdır.
  • c_j: kontrast katsayıları. \sum_j c_j=0 ise \psi bir farktır (kontrast); toplam sıfır değilse \psi ortalamaların ağırlıklı toplamıdır ve "sıfırdan farklı mı?" sınanır.
  • \psi_0: sınanan değer; yazılmazsa 0.

Ne zaman kullanılır? Karşılaştırmalar veriye bakılmadan, araştırma sorusundan türetilmişse (planlı kontrastlar); tek etkenli bir tasarımda ya da ortak değişkenle düzeltilmiş ortalamalarda; grup varyansları eşit değilse sağlam (HC) kovaryansla; ikili farkların hepsi isteniyor ama düzeltme yöntemi serbestçe seçilmek isteniyorsa.

Ne zaman kullanılmaz?

  • Rastgele etki, blok ya da yinelenen ölçüm varsa: hata terimi tek katmanlı değildir; r_emmeans_kontrast şablonu (karma modelde kontrast, Kenward-Roger serbestlik derecesi).
  • İki etkenli tasarımda etkileşim kontrastı isteniyorsa: şablon tek grup sütunu alır. İki etken birleştirilip tek sütun yapılırsa (A1B1, A1B2 …) hücre ortalamaları üzerinde her kontrast yazılabilir; hazır çözüm temel programdaki İki Yönlü ANOVA'dır.
  • Bütün ikili farklar için Tukey ya da kontrole karşı Dunnett düzeltmesi isteniyorsa: bunlar şablonun listesinde yoktur; temel programdaki Tek Yönlü ANOVA'nın çoklu karşılaştırmaları.
  • Yanıt normal dağılmıyor ya da sıralıysa: temel programdaki parametrik olmayan karşılaştırmalar ya da saglam_anova_wrs2 şablonu.
  • Yalnız eldeki p değerleri düzeltilecekse: temel programdaki Çoklu Karşılaştırma Düzeltme.

Temel programla ilişki. Kontrast metnini çözen ayrıştırıcı şablonun içindedir (140–358) ve temel programın ortak L matrisi modülünün (stats/contrasts_L.py) yazım kurallarını izler; şablon onu hücre ortalamaları modeliyle birleştirir. Fark şuradadır: temel programın doğrusal modellerinde kontrast, modelin katsayı adlarıyla (referans düzeye göre farklar) yazılır; burada düzey adlarıyla, doğrudan ortalamalar üzerinden yazılır. Ayrıca düzeltme yöntemi, tek yönlü karşıt hipotez ve HC kovaryansı aynı formdan seçilir.

38.2 Şablonun girdileri

Form dokuz [[param]] bloğundan kurulur (ozel_kontrast.py:10–70).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt değişkeni · y sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun y (satır 115).
Grup (faktör) · grup kategorik sütun · Değişkenler uygun ilk sütun herhangi bir sütun Düzeyler metne çevrilir; hepsi sayıysa sayısal, değilse alfabetik sıralanır (92–105).
Ortak değişkenler · ortak sütunlar · Değişkenler boş sayısal sütunlar; isteğe bağlı Merkezlenip \mathbf X'e eklenir (84, 101).
Kontrastlar · kontrastlar metin · Model boş ; ile ayrılmış doğrusal ifadeler \mathbf L ve \psi_0; boşsa tüm ikili farklar (137–139).
Çoklu karşılaştırma düzeltmesi · duzeltme seçim · Seçenekler holm holm, bonferroni, fdr_bh, fdr_by, sidak, holm-sidak, simes-hochberg, hommel, yok multipletests(method = …) (370–371).
Güven düzeyi · guven ondalık · Seçenekler 0,95 0,5–0,999 t çeyreği (141, 144).
Karşıt hipotez · alternatif seçim · Seçenekler iki iki, buyuk, kucuk p'nin kuyruğu (368–369); GA iki yönlü kalır.
Katsayı kovaryansı · kovaryans seçim · Seçenekler klasik klasik, HC0, HC1, HC2, HC3 \hat{\mathbf V} (126–134).
Bonferroni düzeltmeli eşzamanlı GA · ga_duzeltilmis onay · Seçenekler kapalı açık / kapalı Çeyrek 1-\alpha/(2m)'den (373–375).

Örnek ayar (satır 9): y = verim, grup = grup, kontrastlar = "Gübre_A - Kontrol; Gübre_B - Kontrol; 0.5*Gübre_A + 0.5*Gübre_B - Kontrol"; öteki alanlar varsayılandadır.

Kontrast metninin yazımı (ozel_kontrast.py:140–358; temel programdaki stats/contrasts_L.py ile aynı yazım):

Yazım Anlamı
Gübre_A - Kontrol Katsayısı yazılmayan düzeyin katsayısı 1'dir.
0.5*Gübre_A + 0.5*Gübre_B - Kontrol Katsayı * ile; ondalık ayırıcı nokta. 1/2*Gübre_A ve (Gübre_A + Gübre_B)/2 - Kontrol de geçerlidir.
; ya da yeni satır Kontrastları ayırır.
A ile kontrol | Gübre_A - Kontrol |'dan önceki metin çıktıdaki etikettir.
Gübre_A - Kontrol = 1 Sondaki = sayı sınanan değerdir (\psi_0).
1 0 -1 Yalnız sayılardan oluşan satır doğrudan ağırlık satırıdır; sayı adedi katsayı adedine (düzeyler + ortak değişkenler) eşit olmalı, sıra şablonun düzey sırasıdır (38.3); çıktıdaki "Düzey sırası" satırı hangi sıranın kullanıldığını yazar.
gübre_a - KONTROL Adlar büyük/küçük harfe duyarsız eşlenir. Boşluk ya da özel karakter içeren ad ters tırnak, çift tırnak ya da {} içine alınabilir.

Ortak değişken adları da ifadede kullanılabilir; yun_B yazmak o ortak değişkenin eğimini sınar.

Şablonun kendi denetimleri.

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 82–83
Yanıt ve grup aynı sütun "Yanıt ve grup farklı sütunlar olmalı." 85–86
İkiden az düzey "Grup sütununda en az iki düzey gerekli." 93–94
Bir grupta 2'den az gözlem "Her grupta en az 2 gözlem gerekli." 96–97
n-p<1 ya da \mathbf X tam ranklı değil "Model kurulamıyor: gözlem sayısı yetersiz ya da ortak değişkenler doğrusal bağımlı." 117–119
HC2/HC3'te kaldıraç 1 "Kaldıraç değeri 1 olan gözlem var; HC2/HC3 hesaplanamaz…" 131–133
Kontrast metni çözülemedi (bilinmeyen ad, sözdizimi, sayı adedi, tümü sıfır) "Kontrast metni çözümlenemedi: … Düzeyler: …" 359–363

Eksik değer: yanıt ve ortak değişkenler sayıya çevrilir; yanıtı, grubu ya da bir ortak değişkeni eksik olan satır atılır (satır 89–91). Yanıt ve grup sütunları ortak değişken listesinde seçilmişse listeden çıkarılır (85).

38.3 Örnek veri

Dosya: _ornek/gruplu_verim.csv. Üç gübre uygulamasında 20'şer parsel, toplam 60 gözlem; öğretim amaçlı üretilmiş yapay veridir, eksik değer yoktur.

Değişken Rol Tür (veri sekmesi) Özet
parsel — (kimlik) metin P01–P60.
grup Grup kategorik Kontrol, Gübre_A, Gübre_B; 20'şer gözlem.
blok — (kullanılmaz) kategorik B1–B5.
verim Yanıt sayısal 2,31–15,27; ortalama 6,9945.
Grup n Ortalama Standart sapma Grup içi kareler toplamı
Gübre_A 20 7,1930 2,0070 76,5298
Gübre_B 20 8,4180 2,8852 158,1631
Kontrol 20 5,3725 1,7082 55,4434

Bu şablonda düzey sırası arayüzdeki sıra değildir

Veri sekmesinde grup'un düzeyleri ilk görülme sırasıyla dizilir: Kontrol, Gübre_A, Gübre_B (Bölüm 1.3). Şablon düzey adlarını önce mq.kimlik ile metne çevirir; etiketlerin hepsi sayıysa (ondalık ayırıcı nokta ya da virgül) düzeyleri sayısal sıraya koyar (0, 50, 100, 150), değilse karakter sırasıyla dizer (sorted, satır 103–105): Gübre_A, Gübre_B, Kontrol. Sıra üç yerde görünür: "Grup ortalamaları" tablosunun satırları, kontrast boş bırakıldığında üretilen ikili farkların yönü (sırada önce gelen eksi sonra gelen) ve doğrudan ağırlık satırının hangi düzeye uygulandığı. Karakter sırasında büyük harfler küçük harflerden, Türkçeye özgü harfler (Ç, Ğ, İ, Ö, Ş, Ü) bütün temel Latin harflerinden sonra gelir. Çıktıdaki "Düzey sırası (sayısal | alfabetik): …" satırı (390–393) kullanılan sırayı ve ağırlık satırlarının bu sıraya uygulandığını yazar. Kontrastlar adlarla yazıldığında sıra sonucu etkilemez.

Örnek veride blok sütunu vardır, ama şablon blok etkisini modele almaz; bloklu bir denemede blok hata teriminden ayrılmadığı için bu çözümleme tutucu kalır (38.8).

Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) kontrast boş, Bonferroni düzeltmesi ve eşzamanlı GA; (3) kontrast boş, öteki yedi düzeltme yöntemi; (4) örnek kontrastlar, HC0–HC3 kovaryansı; HC3 ile tek yönlü (>) karşıt hipotez; (5) yayımlanmış bir veri: _ornek/ozel_kontrast_warpbreaks.csv (54 gözlem; kopma sayısı, gerilim düzeyi L/M/H, yün türü göstergesi), grup = tension, ortak = [yun_B], kontrastlar M - L; H - L; H - M; (6) Gübre_A - Kontrol = 1; (7) ağırlık satırı ve etiketli yazım; (8) dört dozlu kurgusal veri (dogrulama/ozel_kontrast/verim_dort.csv).

38.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) eksikleri at, düzeyleri sırala; (2) hücre ortalamaları tasarım matrisini kur, ortak değişkenleri merkezle; (3) EKK ile \hat{\boldsymbol\beta}, artıklar, s^2 ve kovaryansı hesapla; (4) kontrast metnini \mathbf L matrisine çevir; (5) her satır için tahmin, SH, t ve p; (6) p değerlerini düzelt; (7) GA'ları kur; (8) tabloları, metni ve şekli yaz.

38.4.1 Hücre ortalamaları modeli ve EKK

\hat{\boldsymbol\beta}=(\mathbf X^{\top}\mathbf X)^{-1}\mathbf X^{\top}\mathbf y,\qquad s^2=\frac{\sum_i e_i^2}{n-p},\qquad \hat{\mathbf V}=s^2(\mathbf X^{\top}\mathbf X)^{-1}
  • \mathbf X: n\times p; ilk k sütun grup göstergeleri, sonraki r sütun merkezlenmiş ortak değişkenler; p=k+r. \boldsymbol\beta=(\mu_1,\dots,\mu_k,\gamma_1,\dots,\gamma_r).
  • e_i=y_i-\mathbf x_i^{\top}\hat{\boldsymbol\beta}: artıklar. s^2: hata varyansının kestirimi; n-p artık serbestlik derecesi.
  • Ortak değişken yoksa \mathbf X^{\top}\mathbf X=\operatorname{diag}(n_1,\dots,n_k)'dır: \hat\mu_j=\bar y_j, \operatorname{Var}(\hat\mu_j)=s^2/n_j ve ortalamalar birbirinden bağımsızdır.

Neden sabit terimsiz kodlama?

Sabitli kodlamada katsayılar "referans düzeye göre fark"tır ve bir kontrastı yazmak için hangi düzeyin referans olduğunu bilmek gerekir. Hücre ortalamaları kodlamasında her katsayı bir grubun ortalamasıdır; "0,5·A + 0,5·B − Kontrol" ifadesi doğrudan \mathbf L satırına çevrilir. İki kodlama aynı modeldir: uyum, artıklar ve her kontrastın tahmini ile SH'si aynıdır.

Neden ortak değişkenler merkezlenir?

Merkezleme yapılmasa \mu_j, ortak değişken 0 iken grubun kestirimi olurdu; çoğu veride 0 gözlenen aralığın dışındadır. Merkezlenince \mu_j, ortak değişkenin örneklem ortalamasındaki kestirimdir: en küçük kareler (düzeltilmiş) ortalama. Fark kontrastları merkezlemeden etkilenmez; grup ortalamaları tablosu ve toplamı sıfır olmayan ifadeler etkilenir.

38.4.2 Kontrastın tahmini, standart hatası ve testi

\hat\psi_l=\mathbf l_l^{\top}\hat{\boldsymbol\beta}-\psi_{0l},\qquad \operatorname{SH}(\hat\psi_l)=\sqrt{\mathbf l_l^{\top}\hat{\mathbf V}\,\mathbf l_l},\qquad t_l=\frac{\hat\psi_l}{\operatorname{SH}(\hat\psi_l)}\sim t_{n-p}
\text{ortak değişkensiz:}\qquad \hat\psi=\sum_j c_j\bar y_j,\qquad \operatorname{SH}(\hat\psi)=s\sqrt{\sum_j\frac{c_j^2}{n_j}}
  • \mathbf l_l: \mathbf L matrisinin l. satırı (p öğe); düzeylerin katsayıları ve varsa ortak değişkenlerin katsayıları.
  • Tabloya yazılan "tahmin" \mathbf l^{\top}\hat{\boldsymbol\beta}-\psi_0'dır: = 1 yazılmışsa tahmin ve GA 1 kadar kaydırılmış olarak görünür; etiket = 1 ile biter ve çıktıya "Sağ tarafı sıfırdan farklı kontrastlarda … tahmin ve GA Lβ − c farkınındır; t ve p Lβ = c hipotezini sınar" notu yazılır (394–396).
  • p: iki yönlüde 2P(T_{n-p}>\lvert t\rvert); "tek yönlü (>)" seçiminde P(T_{n-p}>t); "tek yönlü (<)" seçiminde P(T_{n-p}<t) (satır 369).
  • İkinci satırdaki kapalı biçim, kontrastın kesinliğinin nereden geldiğini gösterir: büyük katsayı alan ve az gözlemli gruplar SH'yi büyütür.
\hat\psi_l\pm t_{1-\alpha/2,\,n-p}\operatorname{SH}(\hat\psi_l)\qquad\text{ya da eşzamanlı:}\qquad \hat\psi_l\pm t_{1-\alpha/(2m),\,n-p}\operatorname{SH}(\hat\psi_l)
  • m: kontrast sayısı. İkinci biçim Bonferroni eşzamanlı aralıktır: m aralığın hepsinin birden gerçek değeri kapsama olasılığı en az 1-\alpha'dır.
  • GA her zaman iki yönlüdür; tek yönlü karşıt hipotez yalnız p'yi değiştirir.

Koddaki tercih

GA'lar varsayılan olarak düzeltmesizdir; seçilen p düzeltmesi GA'ya yansımaz. Eşzamanlı aralık yalnız "Bonferroni düzeltmeli eşzamanlı GA" kutusu açılırsa ve her zaman Bonferroni çeyreğiyle kurulur (satır 372–375); p düzeltmesi Holm ya da Benjamini-Hochberg olsa da aralık Bonferroni'dir. Çıktının ikinci satırı hangisinin kullanıldığını yazar (385–393).

38.4.3 Heteroskedastisiteye dayanıklı kovaryans (HC0–HC3)

\hat{\mathbf V}_{\text{HC}}=(\mathbf X^{\top}\mathbf X)^{-1}\Big(\sum_i w_i\,\mathbf x_i\mathbf x_i^{\top}\Big)(\mathbf X^{\top}\mathbf X)^{-1},\qquad w_i=\begin{cases}e_i^2 & \text{HC0}\\[2pt] e_i^2\,\dfrac{n}{n-p} & \text{HC1}\\[4pt] \dfrac{e_i^2}{1-h_{ii}} & \text{HC2}\\[6pt] \dfrac{e_i^2}{(1-h_{ii})^2} & \text{HC3}\end{cases}
  • h_{ii}=\mathbf x_i^{\top}(\mathbf X^{\top}\mathbf X)^{-1}\mathbf x_i: kaldıraç; ortak değişkensiz modelde h_{ii}=1/n_j.
  • HC0 White'ın (1980) kestiricisidir; HC1 serbestlik derecesi düzeltmesi, HC2 ve HC3 kaldıraç düzeltmesi ekler (MacKinnon ve White, 1985). Küçük örneklemde HC3 önerilir (Long ve Ervin, 2000).
  • Ortak değişkensiz modelde \operatorname{Var}_{\text{HC2}}(\hat\mu_j)=s_j^2/n_j olur (s_j^2: grubun kendi varyansı): HC2, ayrı varyanslı (Welch türü) standart hatayı verir. HC3'te \operatorname{Var}(\hat\mu_j)=\mathrm{KT}_j/(n_j-1)^2'dir.

Sağlam kovaryansta serbestlik derecesi değişmez

HC seçeneklerinde yalnız SH değişir; t istatistiği yine n-p serbestlik dereceli t dağılımıyla değerlendirilir (satır 123, 369). Ayrı varyanslı t testindeki Welch–Satterthwaite serbestlik derecesi uygulanmaz. Gruplar küçük ve varyanslar çok farklıysa bu, p değerini olduğundan küçük gösterir; öyle bir durumda sonuç, serbestlik derecesini de kestiren ayrı varyanslı (Welch) testle birlikte okunur.

38.4.4 Çoklu karşılaştırma düzeltmeleri

m kontrastın p değerleri küçükten büyüğe p_{(1)}\le\dots\le p_{(m)} sıralanır; düzeltilmiş değer \tilde p_{(i)} ile gösterilir.

Seçenek Düzeltilmiş p Denetlediği hata
Bonferroni \min(1,\ m\,p_{(i)}) Aile boyu
Šidák 1-(1-p_{(i)})^{m} Aile boyu (bağımsızlık ya da pozitif bağımlılık)
Holm \max_{j\le i}\min\big(1,\ (m-j+1)\,p_{(j)}\big) Aile boyu
Holm-Šidák \max_{j\le i}\big[1-(1-p_{(j)})^{m-j+1}\big] Aile boyu
Hochberg \min_{j\ge i}\min\big(1,\ (m-j+1)\,p_{(j)}\big) Aile boyu (Simes koşulu)
Hommel Simes testinin kapalı sınama yöntemi (Wright, 1992 algoritması) Aile boyu (Simes koşulu)
Benjamini-Hochberg \min_{j\ge i}\min\big(1,\ \tfrac{m}{j}\,p_{(j)}\big) Yanlış bulma oranı
Benjamini-Yekutieli \min_{j\ge i}\min\big(1,\ \tfrac{m}{j}\,p_{(j)}\sum_{h=1}^{m}\tfrac1h\big) Yanlış bulma oranı (her bağımlılıkta)
  • \max_{j\le i} (aşağıdan yukarı) ve \min_{j\ge i} (yukarıdan aşağı), düzeltilmiş değerlerin özgün sırayı korumasını sağlar.
  • Aile boyu hata: en az bir yanlış ret olasılığı. Yanlış bulma oranı: retler içinde yanlış olanların beklenen payı; daha gevşek bir ölçüttür.

Neden varsayılan Holm?

Holm, Bonferroni ile aynı güvenceyi (her bağımlılık yapısında aile boyu hata \le\alpha) verir ve hiçbir zaman ondan daha tutucu değildir: en küçük p m ile, ikincisi m-1 ile çarpılır. Hochberg ve Hommel biraz daha güçlüdür, ama testler arasında belirli bir bağımlılık koşulu ister. Aynı hata varyansını paylaşan kontrastların t istatistikleri bağımlıdır; koşulsuz geçerli en güçlü basit seçenek Holm'dur.

Koddaki tercih

Düzeltme statsmodels.stats.multitest.multipletests(p, method = …)'in ikinci çıktısıdır (satır 371); "Düzeltme yok" seçilirse ham p yinelenir. Düzeltme, tek yönlü seçimde tek kuyruklu p değerlerine uygulanır. Aile, formdaki kontrastların tamamıdır: aynı veride ayrı çalıştırmalarla sınanan kontrastlar birbirinin düzeltmesine girmez.

38.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–71 Üstbilgi: açıklama, örnek veri ve ayar, 9 parametre. Form buradan kurulur (Bölüm 1.2).
72–91 İçe aktarmalar; ortak değişken listesinin süzülmesi; sayıya çevirme; eksik satırların atılması. Grup sütunu sayıya çevrilmez (89–90).
92–110 Grup etiketlerinin mq.kimlik ile metne çevrilmesi (tam sayı değerli ondalıklı sütunda 1 düzeyi "1" olur); düzey sırası (hepsi sayıysa sayısal, değilse alfabetik); düzey ve gözlem sayısı denetimi. Sayısal sıra _sayi_mi ile (95–105).
112–125 \mathbf X (göstergeler + merkezlenmiş ortak değişkenler), rank denetimi, EKK, s^2, klasik \hat{\mathbf V}. Sabit terim yok (113–114).
126–134 HC ağırlıkları ve sandviç kovaryans. Kaldıraç 1 ise HC2/HC3 durur (131–133).
135–139 Katsayı adları; boş metinde tüm ikili farklar. Kontrast boşsa ikili farklar düzey sırasıyla üretilir.
140–363 Kontrast ayrıştırıcısı _kontrast_ayristir ve özyinelemeli ifade çözücü _ifade (eval kullanılmaz); \mathbf L, etiketler, \psi_0 ve ağırlık satırı bayrağı. Ayrıştırıcı şablonun içindedir (140–358); hata iletisi 359–363.
365–381 Tahmin, SH, t, p, düzeltilmiş p, GA çeyreği; "Kontrastlar" ve "Grup ortalamaları" tabloları. Grup ortalamalarının SH'si seçilen kovaryanstan (381).
382–404 Metin: model satırı, düzeltme ve GA türü, kovaryans/karşıt hipotez satırı, düzey sırası ve sağ taraf notları, kontrast başına bir satır. Üçüncü satır yalnız varsayılandan sapınca yazılır (397).
406–421 Şekil (tahmin ve GA, sıfır çizgisi), iki tablo ve şeklin kaydı. Şekildeki aralıklar tablodaki GA'lardır.

38.6 Elle hesap: örnek veride bağımsız yeniden hesap

Değerler dogrulama/ozel_kontrast/elle_hesap.py ile hesaplanmıştır. Betik şablonun matris çözümünü ve statsmodels'i kullanmaz: ortak değişkensiz modelde grup ortalamaları ile grup içi kareler toplamlarından 38.4.2 ve 38.4.3'teki kapalı formülleri uygular, düzeltmeleri 38.4.4'teki tanımlardan elle hesaplar; ortak değişkenli modeli başka bir parametrelemeyle (sabit + gösterge + ham ortak değişken, QR ayrışımı) çözer. R tarafında (r_dogrulama.R) sabitli lm modeli üzerinde multcomp::glht, stats::p.adjust, sandwich::vcovHC ve emmeans kullanılmıştır.

Adım 1 — Hata varyansı. Grup içi kareler toplamları 76,5298; 158,1631; 55,4434; toplam 290,1363; n-p=60-3=57:

s^2=\frac{290{,}1363}{57}=5{,}090111,\qquad s=2{,}256127,\qquad \operatorname{SH}(\bar y_j)=\frac{2{,}256127}{\sqrt{20}}=0{,}504485

Adım 2 — Kontrastlar. Düzey sırası (Gübre_A, Gübre_B, Kontrol) ile \mathbf L satırları (1{,}0,-1), (0{,}1,-1), (0{,}5;\ 0{,}5;\ -1).

Kontrast \hat\psi \sum c_j^2/n_j SH t_{57} p
Gübre_A − Kontrol 7{,}1930-5{,}3725=1{,}8205 0,100 0,713450 2,551685 0,013427
Gübre_B − Kontrol 8{,}4180-5{,}3725=3{,}0455 0,100 0,713450 4,268694 7{,}516\cdot10^{-5}
½(A + B) − Kontrol 7{,}8055-5{,}3725=2{,}4330 0,075 0,617866 3,937747 2{,}2646\cdot10^{-4}

Üçüncü kontrastın SH'si daha küçüktür: iki grubun ortalaması 40 gözleme dayanır ve \sum c_j^2/n_j 0,100'den 0,075'e iner.

Adım 3 — Güven aralığı. t_{0{,}975;\,57}=2{,}002465: 1{,}8205\pm2{,}002465\cdot0{,}713450=[0{,}391841;\ 3{,}249159].

Adım 4 — Holm düzeltmesi (m=3). Sıralı p değerleri: 7{,}516\cdot10^{-5} (B − K), 2{,}2646\cdot10^{-4} (ortalama − K), 0{,}013427 (A − K). Çarpanlar 3, 2, 1:

\tilde p=\big(2{,}2548\cdot10^{-4};\ 4{,}5291\cdot10^{-4};\ 0{,}013427\big)

Değerler zaten artan sırada olduğundan en büyükleme adımı bir şey değiştirmez. Üç kontrast da aile boyu %5 düzeyinde anlamlıdır.

Adım 5 — Bütün ikili farklar ve öteki düzeltmeler (çalıştırma 2–3). Ham p: A − B 0,091407; A − K 0,013427; B − K 7{,}516\cdot10^{-5}.

Yöntem A − B A − K B − K
Düzeltme yok 0,09141 0,01343 0,0000752
Bonferroni 0,27422 0,04028 0,0002255
Šidák 0,24992 0,03974 0,0002255
Holm 0,09141 0,02685 0,0002255
Holm-Šidák 0,09141 0,02667 0,0002255
Hochberg 0,09141 0,02685 0,0002255
Hommel 0,09141 0,02685 0,0002255
Benjamini-Hochberg 0,09141 0,02014 0,0002255
Benjamini-Yekutieli 0,16758 0,03692 0,0004134

Eşzamanlı Bonferroni GA'sı için çeyrek t_{1-0{,}05/6;\,57}=2{,}466687'dir; A − K için [0{,}060642;\ 3{,}580358] (düzeltmesiz aralık [0{,}391841;\ 3{,}249159]).

Adım 6 — HC3. \operatorname{Var}(\hat\mu_j)=\mathrm{KT}_j/(n_j-1)^2: Gübre_A 76{,}5298/361=0{,}211994; Gübre_B 0{,}438125; Kontrol 0{,}153583 (klasik: her biri 0,254506).

\operatorname{SH}_{\text{HC3}}(\text{A}-\text{K})=\sqrt{0{,}211994+0{,}153583}=0{,}604629,\qquad t=\frac{1{,}8205}{0{,}604629}=3{,}010935

Tek yönlü (>) p=0{,}001938. Gübre_B'nin varyansı büyük olduğundan B − K kontrastının SH'si artar (0,713450 → 0,769225), A − K'nınki azalır (→ 0,604629). HC0 0,574398; HC1 ve HC2 0,589320 verir (dengeli tasarımda n/(n-p)=n_j/(n_j-1) olduğundan ikisi çakışır).

Adım 7 — Ortak değişkenli model ve yayımlanmış değerler (çalıştırma 5). Kopma sayısı ~ gerilim + yün göstergesi; n=54, n-p=50, s=11{,}6171. Düzeltilmiş ortalamalar: L 36,3889; M 26,3889; H 21,6667 (SH 2,7382).

Kontrast Tahmin SH t_{50} p p (Holm)
M − L −10,0000 3,8724 −2,582 0,012787 0,025574
H − L −14,7222 3,8724 −3,802 0,000391 0,001174
H − M −4,7222 3,8724 −1,219 0,228390 0,228390

Bu değerler multcomp paketinin belgelerinde aynı model için yayımlanan sonuçlarla (−10,00; −14,72; −4,72; SH 3,87; t −2,58; −3,80; −1,22) örtüşür (Hothorn, Bretz ve Westfall, 2008).

38.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun "Kontrastlar" ve "Grup ortalamaları" tablolarından tam hassasiyetle alınmıştır (çalıştırmalar 1–6). Şablon, temel programın ayrıştırıcı modülünü içe aktardığından doğrulama çalıştırmalarında programın kaynak kökü modül yoluna eklenmiştir; şablonun kodu değiştirilmemiştir.

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
A − K: tahmin 1,8205 1,8205 1,8205 4,9e−16 ✓
A − K: SH 0,71345012 0,71345012 0,71345012 4,4e−16 ✓
A − K: t 2,55168503 2,55168503 2,55168503 1,0e−15 ✓
A − K: p 0,01342704 0,01342704 0,01342704 9,0e−17 ✓
A − K: p (Holm) 0,01342704 0,01342704 0,01342704 9,0e−17 ✓
B − K: tahmin 3,0455 3,0455 3,0455 1,0e−15 ✓
B − K: SH 0,71345012 0,71345012 0,71345012 0 ✓
B − K: t 4,26869363 4,26869363 4,26869363 1,0e−15 ✓
B − K: p 7,516010·10−5 7,516010·10−5 7,516010·10−5 8,9e−19 ✓
B − K: p (Holm) 2,254803·10−4 2,254803·10−4 2,254803·10−4 1,5e−17 ✓
½(A + B) − K: tahmin 2,433 2,433 2,433 5,5e−16 ✓
½(A + B) − K: SH 0,61786593 0,61786593 0,61786593 2,2e−16 ✓
½(A + B) − K: t 3,93774746 3,93774746 3,93774746 1,0e−15 ✓
½(A + B) − K: p 2,264569·10−4 2,264569·10−4 2,264569·10−4 7,2e−17 ✓
½(A + B) − K: p (Holm) 4,529137·10−4 4,529137·10−4 4,529137·10−4 4,4e−17 ✓
A − K: GA alt 0,39184077 0,39184077 0,39184077 1,6e−15 ✓
A − K: GA üst 3,24915923 3,24915923 3,24915923 2,7e−16 ✓
Grup ortalaması: Gübre_A 7,193 7,193 7,193 3,7e−16 ✓
Grup ortalaması: Gübre_B 8,418 8,418 8,418 0 ✓
Grup ortalaması: Kontrol 5,3725 5,3725 5,3725 6,6e−16 ✓
Grup ortalaması SH 0,50448542 0,50448542 0,50448542 1,1e−16 ✓
İkili A − B: p (Bonferroni) 0,27422201 0,27422201 0,27422201 2,1e−15 ✓
İkili A − K: p (Bonferroni) 0,04028111 0,04028111 0,04028111 1,7e−16 ✓
İkili A − K: eşzamanlı GA alt (Bonferroni) 0,06064186 0,06064186 0,06064186 1,6e−15 ✓
İkili A − K: eşzamanlı GA üst (Bonferroni) 3,58035814 3,58035814 3,58035814 2,5e−16 ✓
İkili A − K: p (Holm) 0,02685408 0,02685408 0,02685408 1,5e−16 ✓
İkili A − K: p (Šidák) 0,03974268 0,03974268 0,03974268 2,0e−16 ✓
İkili A − K: p (Holm-Šidák) 0,02667379 0,02667379 — 1,6e−16 ✓
İkili A − K: p (Hochberg) 0,02685408 0,02685408 0,02685408 1,5e−16 ✓
İkili A − K: p (Hommel) 0,02685408 0,02685408 0,02685408 1,5e−16 ✓
İkili A − K: p (Benjamini-Hochberg) 0,02014056 0,02014056 0,02014056 9,0e−17 ✓
İkili A − K: p (Benjamini-Yekutieli) 0,03692435 0,03692435 0,03692435 1,7e−16 ✓
HC3, A − K: SH 0,60462941 0,60462941 0,60462941 6,7e−16 ✓
HC3, A − K: tek yönlü p (>) 0,00193847 0,00193847 0,00193847 5,5e−17 ✓
HC3, B − K: SH 0,76922542 0,76922542 0,76922542 1,1e−16 ✓
HC3, B − K: tek yönlü p (>) 1,055550·10−4 1,055550·10−4 1,055550·10−4 5,9e−17 ✓
HC3, ½(A + B) − K: SH 0,56223882 0,56223882 0,56223882 3,3e−16 ✓
HC3, ½(A + B) − K: tek yönlü p (>) 3,078268·10−5 3,078268·10−5 3,078268·10−5 5,1e−19 ✓
HC3, A − K: tek yönlü p (Holm) 0,00193847 0,00193847 0,00193847 5,5e−17 ✓
HC0, A − K: SH 0,57439793 0,57439793 0,57439793 5,6e−16 ✓
HC1, A − K: SH 0,58931985 0,58931985 0,58931985 4,4e−16 ✓
HC2, A − K: SH 0,58931985 0,58931985 0,58931985 3,3e−16 ✓
Ortak değişkenli, M − L: tahmin −10 −10 −10 7,1e−16 ✓
Ortak değişkenli, M − L: SH 3,87237765 3,87237765 3,87237765 2,3e−16 ✓
Ortak değişkenli, M − L: p (Holm) 0,02557366 0,02557366 0,02557366 1,5e−16 ✓
Ortak değişkenli, H − L: tahmin −14,72222222 −14,72222222 −14,72222222 3,6e−16 ✓
Ortak değişkenli, H − L: SH 3,87237765 3,87237765 3,87237765 3,4e−16 ✓
Ortak değişkenli, H − L: p (Holm) 0,00117415 0,00117415 0,00117415 2,6e−17 ✓
Ortak değişkenli, H − M: tahmin −4,72222222 −4,72222222 −4,72222222 7,5e−16 ✓
Ortak değişkenli, H − M: SH 3,87237765 3,87237765 3,87237765 2,3e−16 ✓
Ortak değişkenli, H − M: p (Holm) 0,22838987 0,22838987 0,22838987 2,5e−16 ✓
Ortak değişkenli: düzeltilmiş ortalama (L) 36,38888889 36,38888889 36,38888889 0 ✓
Ortak değişkenli: düzeltilmiş ortalama SH 2,73818449 2,73818449 2,73818449 3,2e−16 ✓
Sağ taraflı (=1), A − K: t 1,15004535 1,15004535 1,15004535 1,4e−15 ✓
Sağ taraflı (=1), A − K: p 0,25492748 0,25492748 0,25492748 4,4e−16 ✓

Ölçütü karşılayan: 55/55. A: Gübre_A, B: Gübre_B, K: Kontrol. Python: grup ortalamaları ve birleşik varyanstan kapalı formüller; düzeltmeler tanımlarından elle (statsmodels kullanılmadan); ortak değişkenli modelde sabitli parametreleme ve QR. R: lm + multcomp::glht, stats::p.adjust, sandwich::vcovHC, emmeans. Holm-Šidák p.adjust'ta bulunmaz.

Üç hesap farklı parametrelemelerle (hücre ortalamaları; kapalı formüller; sabitli model) aynı sonuca varır; farklar kayan nokta yuvarlaması düzeyindedir.

38.7 Çıktıyı okuma

Örnek ayarın metin çıktısı:

Model: verim ~ grup   (n = 60, artık sd = 57, σ̂ = 2,2561)
Düzeltme: holm; GA'lar düzeltmesizdir (%95).
  Gübre_A - Kontrol: tahmin = 1,8205; SH = 0,7135; t(57) = 2,552; p = 0,01343; düzeltilmiş p = 0,01343
  Gübre_B - Kontrol: tahmin = 3,0455; SH = 0,7135; t(57) = 4,269; p = 7,516e-05; düzeltilmiş p = 0,0002255
  0.5*Gübre_A + 0.5*Gübre_B - Kontrol: tahmin = 2,4330; SH = 0,6179; t(57) = 3,938; p = 0,0002265; düzeltilmiş p = 0,0004529

"Kontrastlar" tablosu (dört ondalık):

kontrast tahmin SH t sd p p_duzeltilmis ga_alt ga_ust
Gübre_A - Kontrol 1,8205 0,7135 2,5517 57 0,013427 0,013427 0,3918 3,2492
Gübre_B - Kontrol 3,0455 0,7135 4,2687 57 0,000075 0,000225 1,6168 4,4742
0.5Gübre_A + 0.5Gübre_B - Kontrol 2,4330 0,6179 3,9377 57 0,000226 0,000453 1,1957 3,6703

"Grup ortalamaları" tablosu: Gübre_A 7,1930; Gübre_B 8,4180; Kontrol 5,3725; her biri n=20, SH 0,5045.

Öğe Ne yazar Nasıl yorumlanır
Model satırı Formül, n, artık sd, \hat\sigma \hat\sigma ortak hata standart sapmasıdır; bütün SH'ler ondan türer (klasik kovaryansta).
Düzeltme satırı p düzeltmesinin kimliği; GA'ların düzeltmeli olup olmadığı Karar p_duzeltilmis ile verilir; GA düzeltmesizse tek tek %95'tir, birlikte değil.
Kovaryans satırı HC türü ve karşıt hipotez (yalnız varsayılandan farklıysa) Bu satır varsa SH sandviç kestiricisinden, p belirtilen kuyruktandır.
tahmin \mathbf l^{\top}\hat{\boldsymbol\beta}-\psi_0 Yanıt biriminde fark; = değer yazıldıysa o değerden sapma.
p, p_duzeltilmis Ham ve düzeltilmiş p Tek kontrastta ikisi eşittir.
ga_alt, ga_ust İki yönlü GA Sıfırı içermeyen aralık, düzeltmesiz iki yönlü testte ret demektir; düzeltilmiş p ile çelişebilir.
Grup ortalamaları Düzey (şablonun sırasıyla), n, (düzeltilmiş) ortalama, SH Ağırlık satırı yazılacaksa sıra buradan okunur.

Şekil 38.1. Şablonun şekli (örnek ayar): her kontrastın tahmini ve düzeltmesiz %95 GA'sı; kesikli çizgi sıfır. Üç aralık da sıfırın sağındadır.

Rapor cümlesi:

Planlı üç kontrast tek etkenli doğrusal modelde sınandı (hata serbestlik derecesi 57; p değerleri Holm yöntemiyle düzeltildi). Gübre A kontrolden 1,82 birim (SH = 0,71; t_{57} = 2{,}55; düzeltilmiş p = 0{,}013; %95 GA 0,39–3,25), Gübre B 3,05 birim (t_{57} = 4{,}27; düzeltilmiş p < 0{,}001; %95 GA 1,62–4,47) daha yüksek verim verdi. İki gübrenin ortalaması kontrolden 2,43 birim yüksekti (SH = 0,62; t_{57} = 3{,}94; düzeltilmiş p < 0{,}001).

38.8 Sık hatalar ve tuzaklar

  • Ağırlık satırını arayüzdeki düzey sırasıyla yazmak. 1 0 -1 satırı şablonun sıralı düzeylerine uygulanır (Gübre_A, Gübre_B, Kontrol), veri sekmesindeki sıraya (Kontrol, Gübre_A, Gübre_B) değil. Sayı biçimli düzeylerde sıra sayısaldır: 0, 50, 100, 150 dozlu kurgusal veride doğrusal eğilim için -3 -1 1 3 yazıldığında katsayılar 0, 50, 100, 150 sırasına uygulanır ve tahmin 10,6083 (t=6{,}65) çıkar; adlarla yazılan -3*0 - 1*50 + 1*100 + 3*150 aynı değeri verir. Metin etiketli düzeylerde sıra alfabetiktir; ağırlık satırı kullanılacaksa sıra çıktıdaki "Düzey sırası" satırından ya da "Grup ortalamaları" tablosundan okunur.
  • Ondalık virgül kullanmak. 0,5*Gübre_A çözülemez ve şablon durur; katsayılar noktayla (0.5) ya da kesirle (1/2) yazılır.
  • = değer yazıp tahmini fark sanmak. Gübre_A - Kontrol = 1 için tabloda tahmin 0,8205 görünür (1{,}8205-1); etiket Gübre_A - Kontrol = 1 olarak yazılır ve çıktıya sağ taraf notu eklenir (394–396). Bu, "fark 1'den büyük mü?" sorusunun tahminidir.
  • Toplamı sıfır olmayan ifadeyi kontrast sanmak. Gübre_A + Gübre_B - Kontrol geçerli bir ifadedir, ama bir fark değildir (tahmin 10,2385); "iki gübrenin ortalaması" için katsayılar 0,5 olmalıdır. Şablon katsayı toplamını denetlemez.
  • Kontrastları veriye bakarak seçmek. En büyük ile en küçük ortalamayı görüp yalnız o farkı yazmak, düzeltmeyi m=1 ile yapar; gerçek aile bütün ikili farklardır. Böyle bir karşılaştırma için kontrast boş bırakılır.
  • Düzeltilmiş p ile düzeltmesiz GA'yı birlikte yorumlamak. Bonferroni ile A − K düzeltilmiş p=0{,}040 iken düzeltmesiz GA [0{,}39;\ 3{,}25], eşzamanlı GA [0{,}06;\ 3{,}58]'dir. Raporda hangisinin verildiği yazılır.
  • Bloklu denemeyi bloksuz çözümlemek. Örnek veride blok sütunu vardır; şablon onu modele almaz ve blok değişkenliği hata teriminde kalır. Blok sayısal değilse ortak değişken olarak da verilemez. Bloklu tasarımda r_emmeans_kontrast kullanılır.
  • Eşit olmayan varyansları görmezden gelmek. Grup standart sapmaları 1,71; 2,01; 2,89'dur. Klasik kovaryans bunları birleştirir ve varyansı büyük grubun kontrastını olduğundan kesin gösterir (B − K: SH 0,713; HC3 ile 0,769).
  • Sayı kodlu grup sütununda eksik değer. Tamsayı kodlu bir sütunda eksik hücre varsa sütun ondalıklı okunur; şablon düzey adlarını tam sayı biçiminde yazar ("1", "2", "3"), eksik hücre olsa da olmasa da 2 - 1 aynı çalışır. Düzeyler sayı olduğundan sayısal sıradadır.
  • Şablonu kendi Python yorumlayıcınızla çalıştırmak. Ayrıştırıcı şablonun içindedir (140–358); harici bir yorumlayıcı seçiliyken de çalışır, yalnız numpy, pandas, scipy, statsmodels ve matplotlib kurulu olmalıdır.

38.9 Uzman soruları

S1. Hücre ortalamaları kodlaması ile sabitli kodlama aynı kontrast sonucunu verir mi?

Verir. İki tasarım matrisi aynı sütun uzayını gerer; uyum değerleri, artıklar ve s^2 aynıdır. Kestirilebilir her doğrusal bileşimin tahmini ve varyansı parametrelemeden bağımsızdır. Doğrulama tablosunda R sütunu sabitli lm modelinden, MerQuR+ sütunu hücre ortalamaları modelinden gelir ve değerler 10^{-12}'nin altında bir farkla aynıdır.

S2. Ortak değişken varken "grup ortalaması" neyin ortalamasıdır?

Ortak değişkenin örneklem ortalamasında değerlendirilen model kestirimidir: \hat\mu_j=\bar y_j-\hat\gamma(\bar x_j-\bar x). Bu, en küçük kareler ortalaması (kestirilen marjinal ortalama) tanımıdır (Searle, Speed ve Milliken, 1980). Ortak değişken gruplarda dengeliyse düzeltilmiş ve ham ortalamalar çakışır; yün göstergeli örnekte her gerilim düzeyinde iki yün türü eşit sayıda olduğundan böyledir. Model, eğimin bütün gruplarda aynı olduğunu varsayar; etkileşim terimi yoktur.

S3. Sağlam kovaryansta serbestlik derecesi neden n − p; Welch testiyle fark ne kadar?

Şablon yalnız kovaryans matrisini değiştirir, başvuru dağılımını değiştirmez. İki grup için HC2 standart hatası Welch testinin standart hatasıdır, ama Welch testi serbestlik derecesini de kestirir. Örnek veride A − K için Welch–Satterthwaite serbestlik derecesi yaklaşık 37'dir; şablon 57 kullanır. t\approx3{,}09 için fark p değerinin üçüncü ondalığındadır. Grup başına 5–6 gözlemde fark belirginleşir ve n-p kullanımı iyimser kalır.

S4. Tukey düzeltmesi neden yok; Holm ile sonuç değişir mi?

Tukey ve Dunnett düzeltmeleri kontrastların ortak dağılımını (studentleştirilmiş aralık, çok değişkenli t) kullanır ve belirli kontrast kümeleri için tanımlıdır; şablonun düzeltmeleri yalnız p değerlerine dayanır ve her kontrast kümesine uygulanır. Bütün ikili farklarda Tukey genellikle Holm'dan biraz daha güçlüdür; az sayıda planlı kontrastta Holm daha güçlüdür, çünkü Tukey bütün ikili farkların bedelini öder.

S5. Doğrusal bağımlı kontrastlar yazılırsa ne olur?

Her satır ayrı sınandığından hesap bozulmaz. Örnek ayarın üçüncü kontrastı ilk ikisinin ortalamasıdır; üçü birlikte iki serbestlik derecelik bir uzay gerer. Düzeltme yine m=3 ile yapılır ve bu, bağımlılık yüzünden biraz tutucudur. Şablon satırların ortak F testini vermez; temel programdaki ayrıştırıcı modülde bu sınama tanımlıdır, ama şablon onu çağırmaz.

S6. Tek yönlü seçimde düzeltme ve GA nasıl davranır?

p değerleri seçilen kuyruktan hesaplanır ve düzeltme bu tek kuyruklu değerlere uygulanır. GA iki yönlü kalır (satır 372–378); tek yönlü bir alt sınır isteniyorsa güven düzeyi 1-2\alpha girilir ve aralığın alt ucu okunur. Beklenen yönün tersine çıkan bir kontrastta tek yönlü p 1'e yaklaşır: çalıştırmada "tek yönlü (<)" ile A − K için p=0{,}9933'tür.

S7. Bir grupta tek gözlem varsa neden durur; model yine de kurulabilir mi?

Klasik kovaryansla kurulabilirdi: s^2 öteki gruplardan kestirilir. Şablon her grupta en az iki gözlem ister (satır 109–110); bunun bir nedeni HC2 ve HC3'tür: tek gözlemli grupta kaldıraç 1'dir ve payda sıfır olur. Ortak değişkenli modelde kaldıracı 1 olan gözlem başka yoldan da ortaya çıkabilir; o durumda ikinci denetim devreye girer (131–133).

S8. Genel F testi anlamsızken planlı bir kontrast anlamlı olabilir mi?

Olabilir. F testi etkinin bütün yönlerine eşit ağırlık verir; tek bir kontrast gücünü tek yöne toplar. Örnek veride ikisi de anlamlıdır (F_{2,\,57}=9{,}23; p=0{,}0003), ama etkinin tek bir doğrusal eğilimde toplandığı çok gruplu tasarımlarda kontrast F'den belirgin biçimde güçlüdür. Planlı kontrastların sınanması için önce F testinin anlamlı çıkması gerekmez.

38.10 Kaynaklar

  • Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
  • Benjamini, Y., & Yekutieli, D. (2001). The control of the false discovery rate in multiple testing under dependency. The Annals of Statistics, 29(4), 1165–1188. https://doi.org/10.1214/aos/1013699998
  • Hochberg, Y. (1988). A sharper Bonferroni procedure for multiple tests of significance. Biometrika, 75(4), 800–802. https://doi.org/10.1093/biomet/75.4.800
  • Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70.
  • Hommel, G. (1988). A stagewise rejective multiple test procedure based on a modified Bonferroni test. Biometrika, 75(2), 383–386. https://doi.org/10.1093/biomet/75.2.383
  • Hothorn, T., Bretz, F., & Westfall, P. (2008). Simultaneous inference in general parametric models. Biometrical Journal, 50(3), 346–363. https://doi.org/10.1002/bimj.200810425
  • Long, J. S., & Ervin, L. H. (2000). Using heteroscedasticity consistent standard errors in the linear regression model. The American Statistician, 54(3), 217–224. https://doi.org/10.1080/00031305.2000.10474549
  • MacKinnon, J. G., & White, H. (1985). Some heteroskedasticity-consistent covariance matrix estimators with improved finite sample properties. Journal of Econometrics, 29(3), 305–325. https://doi.org/10.1016/0304-4076(85)90158-7
  • Seabold, S., & Perktold, J. (2010). Statsmodels: Econometric and statistical modeling with Python. Proceedings of the 9th Python in Science Conference, 92–96. https://doi.org/10.25080/Majora-92bf1922-011
  • Searle, S. R., Speed, F. M., & Milliken, G. A. (1980). Population marginal means in the linear model: An alternative to least squares means. The American Statistician, 34(4), 216–221. https://doi.org/10.1080/00031305.1980.10483031
  • Šidák, Z. (1967). Rectangular confidence regions for the means of multivariate normal distributions. Journal of the American Statistical Association, 62(318), 626–633. https://doi.org/10.1080/01621459.1967.10482935
  • White, H. (1980). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica, 48(4), 817–838. https://doi.org/10.2307/1912934
  • Wright, S. P. (1992). Adjusted p-values for simultaneous inference. Biometrics, 48(4), 1005–1013. https://doi.org/10.2307/2532694
  • Zeileis, A. (2004). Econometric computing with HC and HAC covariance matrix estimators. Journal of Statistical Software, 11(10), 1–17. https://doi.org/10.18637/jss.v011.i10