MerQuR+Başvuru Kitabı

13. MANOVA (Çok Değişkenli Varyans Analizi)

Analiz kimliği: manova · Menü adı: MANOVA · Panel: gui/panels/analyses/manova.py · Motor: stats/hypothesis.py, HypothesisTests.manova (satır 5454–5691), _manova_q1_extras (satır 2555–2717), _box_m (satır 708–731), _box_m_f (satır 2525–2552) · statsmodels MANOVA.mv_test

13.1 Ne işe yarar

MANOVA, birden çok sürekli bağımlı değişkenin ortalama vektörlerinin gruplar arasında eşit olup olmadığını tek bir testle sınar. Cevapladığı soru şudur: "Tedavi grupları sistolik basınç, diyastolik basınç ve nabız üçlüsü bakımından, bu değişkenlerin birbiriyle ilişkisi hesaba katıldığında, birbirinden farklı mı?"

H_0:\ \boldsymbol\mu_1=\boldsymbol\mu_2=\dots=\boldsymbol\mu_k\qquad H_1:\ \text{en az bir}\ \boldsymbol\mu_i\ \text{farklı}
  • \boldsymbol\mu_i=(\mu_{i1},\dots,\mu_{ip})^{\top}: i. grubun p bağımlı değişkendeki evren ortalama vektörü.
  • k: grup sayısı; p: bağımlı değişken sayısı. Tıp örneğinde k=3, p=3.
  • Model: \mathbf y_{ij}=\boldsymbol\mu_i+\boldsymbol\varepsilon_{ij}, \boldsymbol\varepsilon_{ij}\sim N_p(\mathbf 0,\boldsymbol\Sigma); tüm gruplarda aynı kovaryans matrisi \boldsymbol\Sigma.

Ne zaman kullanılır? Bağımlı değişkenler kavramsal olarak birlikte bir yapıyı ölçüyorsa (ör. hemodinamik profil) ve orta düzeyde ilişkiliyse; grupların bu değişkenlerin bileşimi üzerinde farklılaşıp farklılaşmadığı soruluyorsa; ayrı ANOVA'ların birinci tür hatasını tek bir genel testle denetlemek isteniyorsa.

Ne zaman kullanılmaz?

  • Tek bağımlı değişken varsa: Tek Yönlü ANOVA ya da İki Yönlü ANOVA.
  • Aynı ölçüm farklı zamanlarda tekrarlanmışsa (aynı değişkenin vizitleri): Tekrarlı Ölçümler ANOVA ya da Doğrusal Karma Model; tekrarlı ölçümler modülü çok değişkenli testleri de verir.
  • Amaç grupları ayıran değişken bileşimini bulmak ya da sınıflandırmaksa: Diskriminant Analizi (MANOVA'nın kardeşi; aynı \mathbf E^{-1}\mathbf H özdeğerlerine dayanır).
  • Bağımlı değişkenler çok yüksek ilişkiliyse (ör. r>0{,}9): hata SSCP matrisi tekile yaklaşır; değişken azaltılmalıdır.
  • Bağımlı değişkenler ilişkisizse: MANOVA'nın tek tek ANOVA'lara üstünlüğü kalmaz.
  • Grup başına gözlem bağımlı değişken sayısından azsa: Box testi tanımsızdır; kovaryans tahminleri kararsızdır.

Sık karıştırılan analizler. Hotelling T^2 testi iki grup için MANOVA'dır (iki grupta dört istatistik aynı F'yi verir). MANCOVA, MANOVA'ya kovaryat eklenmiş biçimidir (bu modülde "Kovaryatlar" seçeneği). PERMANOVA mesafe matrisine dayanır, çok değişkenli normallik istemez.

13.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Bağımsızlık Her hasta tek bir gözlem vektörü. Denetlenmez.
Çok değişkenli normallik Grup içi artık vektörleri N_p dağılımında. İsteğe bağlı Mardia çarpıklık/basıklık ve Mahalanobis D^2 aykırı değer taraması (artıklar üzerinde).
Kovaryans matrislerinin eşitliği \boldsymbol\Sigma_1=\dots=\boldsymbol\Sigma_k. Varsayılan açık Box's M (\chi^2 yaklaşımı); isteğe bağlı F yaklaşımı.
Tek değişkenli varyans eşitliği Her bağımlı değişkende varyans eşitliği. İsteğe bağlı DV başına Levene (ortalama merkezli).
Bağımlı değişkenler arası ilişki Ne sıfır ne çok yüksek. İsteğe bağlı Bartlett küresellik testi (artık korelasyon matrisi birim matris mi).
Doğrusallık ve tekil olmama Bağımlı değişkenler birbirinin doğrusal bileşimi değil. Sabit DV atılır; tekil \mathbf E statsmodels hatasıyla durur.

Eksik değer. Grup ve tüm bağımlı değişkenler üzerinde liste bazında atma (hypothesis.py:5483–5488); sayıya çevrilemeyen değer eksik sayılır. Faktöriyel MANOVA / MANCOVA bloğu kendi değişken kümesiyle ayrıca liste bazında atma yapar (hypothesis.py:2670–2677); bu bloğun n'si ana tablodan farklı olabilir ve blok başlığında yazılır.

Uç durumlar:

  • İkiden az bağımlı değişken, grup sütunu yok ya da grup tek düzeyli ise hata (hypothesis.py:5477–5493). Panel, grup faktörü DV listesinde de seçiliyse onu listeden çıkarır (stats_panel.py:5361–5363).
  • n<p+3 ise hata: "Yeterli gözlem yok" (hypothesis.py:5489–5491).
  • Sabit bağımlı değişken: sessizce değil, uyarıyla atılır ve test kalan DV'lerle yapılır; ikiden az DV kalırsa hata (hypothesis.py:5494–5510). R manova bu durumda sayısal gürültü üretir.
  • Box's M: bir grupta n_i\le p ise hesaplanmaz, "hesaplanamadı" yazılır (hypothesis.py:718–719, 2534–2536).

13.3 Parametreler

Varsayılanlar manova.py:37–119 (form) ve read_options (manova.py:122–139) içinden okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Grup (Faktör) ilk kategorik sütun Grup değişkeni.
Bağımlılar (≥ 2 sürekli) seçim İki ya da daha çok sayısal DV.
Güven Düzeyi %95 \alpha=1-\text{düzey}. Karar ve varsayım etiketleri; Mahalanobis kritik değeri değişmez (sabit 0,999).
Referans test Wilks' Λ Genel karar ve başlıktaki F, p bu teste göre. Dört test her durumda tabloda; karar satırı ve APA satırı seçilene göre (13.7).
Ek çıktı: Çok-değişkenli η² açık Wilks'ten 1-\Lambda^{1/s}. Ek satır.
Ek çıktı: Tek-değişkenli takip açık Her DV için tek yönlü ANOVA + Bonferroni (\times p) + η²ₚ. Ek bölüm.
Ek çıktı: Betimsel kapalı Grup başına n ve DV ortalamaları. Ek bölüm.
Box's M (kovaryans homojenliği) açık \chi^2 yaklaşımlı Box testi. Ek satır.
İzleyen ANOVA post-hoc Yok Tukey HSD, Bonferroni, Games-Howell. Tek değişkenli takip açıkken her DV için ikili karşılaştırma.
İkinci faktör Yok Faktöriyel MANOVA (III. tür, Sum kontrast). Ek blok; ana tablo tek faktörlü kalır.
İkinci faktörle desen Çapraz Çapraz ya da yuvalanmış (B, A içinde / A, B içinde). Yuvalanmışta ardışık ya da kısmi SSCP.
Yuvalanmış desende KT türü Ardışık (I. tür) I. tür ya da III. tür (yalnız yuvalanmış desende). Dış faktör testini değiştirir.
Kovaryatlar (MANCOVA) boş Sayısal kovaryatlar. Ek blok (faktöriyel blokla aynı yerde).
Ek tanılar dördü de kapalı Her test için η²ₚ; DV başına Levene; Box's M (F) + Bartlett küresellik + H ve E SSCP; Mardia + Mahalanobis. Ek bölümler.

Motor ile arayüz varsayılanları farklı

Motor do_boxm, do_univariate, eff_mv için False varsayar (hypothesis.py:5471–5473); arayüz üçünü de açık gönderir (manova.py:126–129). Bu bölüm arayüz varsayılanlarını izler.

13.4 Tıp örneği

Dosya: english/datasets/Tip/09_manova_treatment_3vital.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/09_manova_tedavi_3vital.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #9 bölümünden alınmıştır.

Değişken Rol Tür Açıklama
treatment Grup metin, 3 düzey placebo, treatment-A, treatment-B (her biri 40 hasta)
systolic Bağımlı sürekli (tam sayı) Sistolik kan basıncı (mmHg)
diastolic Bağımlı sürekli (tam sayı) Diyastolik kan basıncı (mmHg)
pulse Bağımlı sürekli (tam sayı) Nabız (atım/dk)
patient_id kullanılmaz

n ve eksik değer: 120 hasta, eksik yok; N=120, k=3, p=3.

Klinik soru: İki aktif tedavi, plaseboya göre hemodinamik profili (sistolik, diyastolik, nabız) birlikte değiştiriyor mu? Fark hangi değişkenlerden geliyor?

Seçilen ayarlar: Arayüz varsayılanları (Wilks referans, çok değişkenli η², tek değişkenli takip, Box's M). Sayısal yürüyüş için ikinci çalıştırmada betimsel, Tukey takip, her test için η²ₚ, DV başına Levene, Box's M (F) + SSCP ve Mardia açılmış; üçüncüde referans test Pillai seçilmiştir.

Şekil 13.1. Sistolik–diyastolik düzleminde gruplar. Artılar grup ortalamaları, elipsler grup kovaryans matrislerinden çizilmiş %95 normal yoğunluk sınırlarıdır. Ortalamalar neredeyse tek bir doğru üzerinde dizilir; bu, H matrisinin tek bir baskın özdeğeri olmasıyla uyumludur.

13.5 Formüller ve hesap adımları

MerQur ana testi statsmodels'e bırakır: DV'ler ve grup güvenli adlara çevrilir, MANOVA.from_formula("_dv0_ + _dv1_ + _dv2_ ~ C(_grp_)") kurulur ve mv_test() sonucunun C(_grp_) satırları okunur (hypothesis.py:5512–5534). Ardından referans teste göre karar, etki büyüklüğü, Box's M, tek değişkenli takipler ve isteğe bağlı tanılar MerQur'un kendi koduyla eklenir.

13.5.1 Hipotez ve hata SSCP matrisleri

\mathbf H=\sum_{i=1}^{k}n_i\left(\bar{\mathbf y}_{i}-\bar{\mathbf y}\right)\left(\bar{\mathbf y}_{i}-\bar{\mathbf y}\right)^{\top},\qquad \mathbf E=\sum_{i=1}^{k}\sum_{j=1}^{n_i}\left(\mathbf y_{ij}-\bar{\mathbf y}_{i}\right)\left(\mathbf y_{ij}-\bar{\mathbf y}_{i}\right)^{\top}
  • \mathbf H: gruplar arası (hipotez) kareler ve çapraz çarpımlar matrisi, p\times p; köşegeni her DV'nin tek yönlü ANOVA'sındaki gruplar arası KT'dir.
  • \mathbf E: grup içi (hata) SSCP matrisi; köşegeni her DV'nin grup içi KT'sidir. \mathbf E/(N-k) havuzlanmış kovaryans matrisidir.
  • \nu_H=k-1 ve \nu_E=N-k: hipotez ve hata serbestlik dereceleri.
  • Köşegen dışı öğeler, tek değişkenli ANOVA'ların göremediği bilgiyi taşır: DV'lerin birlikte değişimi.

13.5.2 Özdeğerler ve dört test istatistiği

Dört istatistik de \mathbf E^{-1}\mathbf H matrisinin özdeğerleri \lambda_1\ge\lambda_2\ge\dots\ge\lambda_s>0 üzerinden yazılır; s=\min(p,\,\nu_H) sıfırdan farklı özdeğer sayısıdır.

\Lambda=\frac{\left|\mathbf E\right|}{\left|\mathbf E+\mathbf H\right|}=\prod_{m=1}^{s}\frac{1}{1+\lambda_m},\qquad V=\sum_{m=1}^{s}\frac{\lambda_m}{1+\lambda_m},\qquad U=\sum_{m=1}^{s}\lambda_m,\qquad \Theta=\lambda_1
  • \Lambda (Wilks lambda): hata genelleştirilmiş varyansının toplam genelleştirilmiş varyansa oranı; 0'a yakın değer büyük grup farkıdır. Olabilirlik oranı testidir.
  • V (Pillai izi): \mathbf H(\mathbf H+\mathbf E)^{-1}'in izi; her özdeğerin "açıklanan oran" karşılığının toplamı. 0\le V\le s.
  • U (Hotelling–Lawley izi): \mathbf E^{-1}\mathbf H'nin izi.
  • \Theta (Roy en büyük kök): yalnız en büyük özdeğer; farkın tek bir boyutta toplandığı durumda en güçlüdür.

Neden dört ayrı istatistik?

Grup farkı tek bir yönde toplanıyorsa (bir baskın özdeğer) Roy en güçlüdür; farklar birkaç yöne yayılmışsa Pillai ve Hotelling–Lawley daha güçlüdür; Wilks arada kalır. Varsayım ihlallerine (eşit olmayan kovaryans, dengesiz gruplar) en dayanıklısı Pillai'dir (Olson 1976). s=1 olduğunda (iki grup ya da tek DV) dördü aynı F'yi verir. MerQur dördünü de tabloya yazar; karar için hangisinin kullanılacağı "Referans test" ile seçilir.

Koddaki tercih: özdeğerler statsmodels'ten

statsmodels mv_test özdeğerleri (\mathbf H+\mathbf E)^{-1}\mathbf H'den \theta_m olarak alır ve \lambda_m=\theta_m/(1-\theta_m) dönüşümünü yapar; 10^{-8} altındaki \theta'lar atılır (statsmodels/multivariate/multivariate_ols.py:160–184, statsmodels 0.14.6). Bu veride üçüncü özdeğer 1{,}2\times10^{-16}'dır (H'nin rankı k-1=2) ve atılır.

13.5.3 F yaklaşımları

Dört istatistiğin kesin dağılımı genelde kapalı biçimli değildir; F yaklaşımları kullanılır. Yardımcı büyüklükler:

s=\min(p,\nu_H),\qquad m=\frac{\left|p-\nu_H\right|-1}{2},\qquad n=\frac{\nu_E-p-1}{2}

Wilks — Rao'nun F'si:

\begin{gathered}t=\sqrt{\frac{p^2\nu_H^2-4}{p^2+\nu_H^2-5}},\qquad r=\nu_E-\frac{p-\nu_H+1}{2},\qquad u=\frac{p\,\nu_H-2}{4}\\[4pt] F=\frac{1-\Lambda^{1/t}}{\Lambda^{1/t}}\cdot\frac{rt-2u}{p\,\nu_H}\ \sim\ F_{p\nu_H,\ rt-2u}\end{gathered}

(p^2+\nu_H^2-5\le0 ise t=1.) Rao F'si s\le2 iken kesindir.

Pillai:

F=\frac{2n+s+1}{2m+s+1}\cdot\frac{V}{s-V}\ \sim\ F_{s(2m+s+1),\ s(2n+s+1)}

Hotelling–Lawley — McKeon (1974) yaklaşımı (n>0 iken):

\begin{gathered}b=\frac{(p+2n)(\nu_H+2n)}{2(2n+1)(n-1)},\qquad \sd_2=4+\frac{p\,\nu_H+2}{b-1},\qquad c=\frac{\sd_2-2}{2n}\\[4pt] F=\frac{\sd_2}{p\,\nu_H}\cdot\frac{U}{c}\ \sim\ F_{p\nu_H,\ \sd_2}\end{gathered}

Roy — üst sınır:

F=\frac{\nu_E-r_1+\nu_H}{r_1}\,\Theta\ \sim\ F_{r_1,\ \nu_E-r_1+\nu_H},\qquad r_1=\max(p,\nu_H)
  • Roy F'si bir üst sınırdır: gerçek p değeri tablodakinden büyüktür; Roy'un p'si iyimserdir.
  • Hotelling–Lawley için McKeon yaklaşımının payda sd'si genelde tam sayı değildir (bu veride 151,5685); MerQur tabloya 4 ondalıkla yazar (hypothesis.py:5556–5558).

Hotelling–Lawley F'si R'den farklı

statsmodels (ve dolayısıyla MerQur) n>0 iken McKeon yaklaşımını kullanır. R summary.manova(test = "Hotelling-Lawley") ise Pillai–Samson yaklaşımını kullanır: F=\frac{2(sn+1)U}{s^2(2m+s+1)}, sd \left(s(2m+s+1),\ 2(sn+1)\right). Bu veride MerQur F(6,\ 151{,}57)=35{,}8615, R F(6,\ 228)=35{,}7015 verir. Değer (U=1{,}879025) aynıdır; yalnız yaklaşım farklıdır. MerQur McKeon yaklaşımını bütün MANOVA yollarında (yuvalanmış desen bloğu ve kanonik korelasyon dahil) kullanır; aynı çıktıda iki HL F tanımı bulunmaz.

13.5.4 Çok değişkenli etki büyüklüğü

Varsayılan "Çok-değişkenli η²" satırı yalnız Wilks'ten hesaplanır (hypothesis.py:5593–5598); "Her test için η²ₚ" kutusu dördünü verir (_mv_eta_p, hypothesis.py:2513–2522):

\eta^2_{\Lambda}=1-\Lambda^{1/s},\qquad \eta^2_{V}=\frac{V}{s},\qquad \eta^2_{U}=\frac{U/s}{U/s+1},\qquad \eta^2_{\Theta}=\frac{\Theta}{1+\Theta}
  • Dört ölçü aynı şeyi ölçmez: \eta^2_\Theta yalnız en güçlü boyutu, \eta^2_V tüm boyutların ortalamasını yansıtır. Rapor edilen η²'nin hangi teste ait olduğu yazılmalıdır.

13.5.5 Box's M testi

\mathbf S_i=\frac{1}{n_i-1}\sum_j(\mathbf y_{ij}-\bar{\mathbf y}_i)(\mathbf y_{ij}-\bar{\mathbf y}_i)^{\top},\qquad \mathbf S_p=\frac{\sum_i(n_i-1)\mathbf S_i}{N-k},\qquad M=(N-k)\ln\left|\mathbf S_p\right|-\sum_i(n_i-1)\ln\left|\mathbf S_i\right|
c_1=\left(\sum_i\frac{1}{n_i-1}-\frac{1}{N-k}\right)\frac{2p^2+3p-1}{6(p+1)(k-1)},\qquad \chi^2=M(1-c_1)\ \sim\ \chi^2_{p(p+1)(k-1)/2}
  • \mathbf S_i: i. grubun yansız kovaryans matrisi; \mathbf S_p: havuzlanmış kovaryans matrisi.
  • M: grup kovaryanslarının havuzlanmış kovaryanstan sapmasının log-determinant ölçüsü; eşit kovaryansta 0'a yakındır.
  • c_1: küçük örneklem düzeltmesi. Determinantlar slogdet ile log ölçeğinde alınır (hypothesis.py:722–724).
  • "Box's M (F)" kutusu Box'ın (1949) F yaklaşımını da verir: c_2=\left(\sum_i\frac{1}{(n_i-1)^2}-\frac{1}{(N-k)^2}\right)\frac{(p-1)(p+2)}{6(k-1)} ile; c_2>c_1^2 ise \sd_2=(\sd_1+2)/(c_2-c_1^2), F=M/b, b=\sd_1/(1-c_1-\sd_1/\sd_2) (hypothesis.py:2545–2552).

Box testine neden fazla güvenilmez?

Box's M çok değişkenli normallikten sapmaya çok duyarlıdır; büyük örneklemde önemsiz kovaryans farklarında da anlamlı çıkar. Bu yüzden genel uygulama \alpha=0{,}001 gibi katı bir eşik ya da Pillai izinin tercih edilmesidir. MerQur etiketini seçilen \alpha ile verir ("İHLAL" ya da "karşılanıyor"); yorumu kullanıcıya bırakır. Grup büyüklükleri eşitse MANOVA testleri kovaryans eşitsizliğine oldukça dayanıklıdır.

13.5.6 Tek değişkenli takip ANOVA'ları

Her DV için scipy.stats.f_oneway ile tek yönlü ANOVA yapılır; p'ye DV sayısıyla Bonferroni uygulanır: p_B=\min(1,\ p\cdot p_{\text{DV}}); \eta^2_p=\mathrm{KT}_B/(\mathrm{KT}_B+\mathrm{KT}_W) (hypothesis.py:5611–5633). Post hoc seçiliyse her DV'de post_hoc_test (tek yönlü ANOVA'nınkiyle aynı yordam) çalışır.

Koddaki tercih: Tukey sonuçları tam hassasiyetle

Tukey HSD, pairwise_tukeyhsd sonucunun tam hassasiyetli dizilerinden (meandiffs, pvalues, confint) okunur; statsmodels'in 4 ondalığa yuvarlanmış gösterim tablosu kullanılmaz. Bu veride nabızda placebo − treatment-A için p=5{,}26\times10^{-5} olarak saklanır; sonuç metni p'yi 4 ondalıkla yazar ve 0,0001'in altını "p<0.0001" diye gösterir.

13.5.7 Ek tanılar

DV başına Levene: her DV'de grup bazlı, ortalama merkezli Levene, sd (k-1,\,N-k) (hypothesis.py:2576–2584).

Bartlett küresellik testi (artık korelasyon matrisi \mathbf R_E, \mathbf E'den):

\chi^2=-\left(\nu_E-\frac{2p+5}{6}\right)\ln\left|\mathbf R_E\right|\ \sim\ \chi^2_{p(p-1)/2}

Anlamsız sonuç, DV'lerin grup içinde ilişkisiz olduğunu, MANOVA'nın ayrı ANOVA'lara üstünlüğünün az olduğunu gösterir.

Mardia (hypothesis.py:2611–2639): grup merkezli artıklar \mathbf r_j ve ML kovaryans \hat{\mathbf S}=\frac1N\sum\mathbf r_j\mathbf r_j^{\top} ile g_{jl}=\mathbf r_j^{\top}\hat{\mathbf S}^{-1}\mathbf r_l:

b_{1,p}=\frac{1}{N^2}\sum_{j,l}g_{jl}^3,\qquad \frac{N\,b_{1,p}}{6}\sim\chi^2_{p(p+1)(p+2)/6};\qquad b_{2,p}=\frac1N\sum_j g_{jj}^2,\qquad z=\frac{b_{2,p}-p(p+2)}{\sqrt{8p(p+2)/N}}

Mahalanobis D^2, artıkların yansız (N-1 paydalı) kovaryansıyla hesaplanır ve \chi^2_{p;\,0{,}999} eşiğini aşan vakalar listelenir. Eşik güven düzeyinden bağımsızdır.

13.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Değerler dogrulama/manova/elle_hesap.py ile, MerQur ve statsmodels çağrılmadan numpy ile hesaplanmıştır.

Adım 1 — Grup ortalama vektörleri.

Grup n_i systolic diastolic pulse
placebo 40 153,900 95,475 78,800
treatment-A 40 139,650 85,025 71,475
treatment-B 40 133,600 81,225 70,400
Genel 120 142,383 87,242 73,558

Adım 2 — H ve E matrisleri.

\mathbf H=\begin{pmatrix}8690{,}0667&6149{,}0333&3752{,}0667\\6149{,}0333&4356{,}0667&2671{,}0833\\3752{,}0667&2671{,}0833&1671{,}6167\end{pmatrix},\qquad \mathbf E=\begin{pmatrix}12462{,}3000&-186{,}1500&-1047{,}7500\\-186{,}1500&5405{,}9250&236{,}7250\\-1047{,}7500&236{,}7250&6267{,}9750\end{pmatrix}

\mathbf H'nin köşegen dışı öğeleri büyük ve pozitiftir: grup ortalamaları üç değişkende birlikte düşer. \mathbf E'nin köşegen dışı öğeleri küçüktür: grup içinde DV'ler neredeyse ilişkisizdir.

Adım 3 — Özdeğerler. \mathbf E^{-1}\mathbf H'nin özdeğerleri \lambda_1=1{,}873382, \lambda_2=0{,}005642, \lambda_3\approx0. Farkın neredeyse tamamı tek bir boyutta toplanmıştır (Şekil 13.1).

Adım 4 — Dört istatistik.

\begin{gathered}\Lambda=\frac{1}{2{,}873382\times1{,}005642}=0{,}346069\\[4pt] V=\frac{1{,}873382}{2{,}873382}+\frac{0{,}005642}{1{,}005642}=0{,}651980+0{,}005610=0{,}657589\\[4pt] U=1{,}873382+0{,}005642=1{,}879025,\qquad \Theta=1{,}873382\end{gathered}

Determinant yoluyla da |\mathbf E|/|\mathbf E+\mathbf H|=0{,}346069 bulunur.

Adım 5 — F yaklaşımları. s=2, m=0, n=(117-3-1)/2=56{,}5, \nu_H=2, \nu_E=117.

  • Wilks: t=\sqrt{(9\cdot4-4)/(9+4-5)}=2, r=117-1=116, u=1; \sd_2=232-2=230; \Lambda^{1/2}=0{,}588277; F=\frac{0{,}411723}{0{,}588277}\cdot\frac{230}{6}=26{,}8288, p=3{,}74\times10^{-24}.
  • Pillai: \sd=(6,\ 232); F=\frac{232}{6}\cdot\frac{0{,}657589}{1{,}342411}=18{,}9411, p=6{,}36\times10^{-18}.
  • Hotelling–Lawley (McKeon): b=\frac{116\cdot115}{2\cdot114\cdot55{,}5}=1{,}054212, \sd_2=4+8/0{,}054212=151{,}5685, c=149{,}5685/113=1{,}323615; F=\frac{151{,}5685}{6}\cdot\frac{1{,}879025}{1{,}323615}=35{,}8615, p=8{,}67\times10^{-27}.
  • Roy: r_1=3; F=\frac{116}{3}\times1{,}873382=72{,}4374, \sd=(3,\ 116), p=1{,}82\times10^{-26} (üst sınır).

Adım 6 — Etki büyüklükleri. \eta^2_\Lambda=1-0{,}346069^{1/2}=0{,}411723; \eta^2_V=0{,}657589/2=0{,}328794; \eta^2_U=0{,}939512/1{,}939512=0{,}484406; \eta^2_\Theta=1{,}873382/2{,}873382=0{,}651978.

Adım 7 — Box's M. \ln|\mathbf S_p|=12{,}466268; grup log-determinantları 12,182732 (placebo), 12,564172 (A), 12,123971 (B):

M=117\times12{,}466268-39\times(12{,}182732+12{,}564172+12{,}123971)=20{,}5892

c_1=\left(3/39-1/117\right)\cdot\frac{18+9-1}{6\cdot4\cdot2}=0{,}068376\times0{,}541667=0{,}037037; \chi^2=20{,}5892\times0{,}962963=19{,}8267, sd 12, p=0{,}0704. F yaklaşımı: F(12,\ 66339)=1{,}6519, p=0{,}0705. Kovaryans eşitliği %5 düzeyinde reddedilmez.

Adım 8 — Tek değişkenli takipler. \mathrm{KT}_B ve \mathrm{KT}_W, \mathbf H ve \mathbf E'nin köşegenidir:

DV F(2,\,117) p p_{\text{Bonf}} (\times3) \eta^2_p Levene F (p)
systolic \frac{8690{,}0667/2}{12462{,}3/117}=40{,}7925 3{,}62\times10^{-14} 1{,}09\times10^{-13} 0,4108 1,5596 (0,2146)
diastolic 47,1390 9{,}66\times10^{-16} 2{,}90\times10^{-15} 0,4462 0,1033 (0,9020)
pulse 15,6015 9{,}86\times10^{-7} 2{,}96\times10^{-6} 0,2105 0,6270 (0,5360)

Tukey takiplerinde treatment-A ile treatment-B sistolikte (p=0{,}0266) ve diyastolikte (p=0{,}0365) ayrılır, nabızda ayrılmaz (p=0{,}7889); plasebo her iki tedaviden her DV'de ayrılır.

Adım 9 — Ek tanılar. Bartlett küresellik \chi^2(3)=1{,}8579, p=0{,}6024: artıklar arasında anlamlı ilişki yoktur. Mardia çarpıklık b_{1,p}=0{,}4474, \chi^2(10)=8{,}9476, p=0{,}5371; basıklık b_{2,p}=14{,}6062 (beklenen p(p+2)=15), z=-0{,}3938, p=0{,}6938. En büyük Mahalanobis D^2=12{,}185<\chi^2_{3;\,0{,}999}=16{,}266; aykırı vaka yok.

13.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucunun manova_df, univariate_df ve ek tanı anahtarlarından alınmıştır; stats.hypothesis ad alanında round() yalnız bellekte etkisizleştirilmiştir (dogrulama/manova/merqur_calistir.py). 10^{-6}'dan küçük p değerleri MerQur'da tasarım gereği 4 anlamlı basamakla saklanır ve o basamakta karşılaştırılmıştır; SSCP öğeleri ve Box \chi^2 metinde yazıldığı ondalıkta karşılaştırılmıştır. R: 4.5.3, manova + summary(test = ...), heplots::boxM (ve biotools::boxM), aov + TukeyHSD, car::leveneTest; Hotelling–Lawley McKeon F'si R özdeğerlerinden elle; Mardia elle (MVN paketi kullanılmadı). Box F, Bartlett küresellik ve Mahalanobis için kurulu R paketinde aynı tanım bulunmadığından yalnız bağımsız Python ile karşılaştırılmıştır.

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
H_{11} (systolic) 8690,0667 8690,066667 8690,066667 1,3e−11 ✓ (4 ondalık)
E_{11} (systolic) 12462,3000 12462,300000 12462,300000 1,8e−12 ✓ (4 ondalık)
H_{22} (diastolic) 4356,0667 4356,066667 4356,066667 5,5e−12 ✓ (4 ondalık)
E_{22} (diastolic) 5405,9250 5405,925000 5405,925000 9,1e−13 ✓ (4 ondalık)
H_{33} (pulse) 1671,6167 1671,616667 1671,616667 5,0e−12 ✓ (4 ondalık)
E_{33} (pulse) 6267,9750 6267,975000 6267,975000 0,0e+00 ✓ (4 ondalık)
E_{12} −186,1500 −186,150000 −186,150000 9,9e−13 ✓ (4 ondalık)
Özdeğer \lambda_1 — 1,873382 1,873382 2,2e−16 ✓
Özdeğer \lambda_2 — 0,005642 0,005642 1,4e−16 ✓
Değer (Wilks Λ) 0,346069 0,346069 0,346069 5,2e−14 ✓
F (Wilks Λ) 26,828764 26,828764 26,828764 4,9e−12 ✓
sd payda (Wilks Λ) 230 230 230 0,0e+00 ✓
p (Wilks Λ) 3,7450·10−24 3,7445·10−24 3,7445·10−24 1,5e−37 ✓ (4 anlamlı basamak)
Değer (Pillai izi) 0,657589 0,657589 0,657589 5,3e−14 ✓
F (Pillai izi) 18,941114 18,941114 18,941114 2,3e−12 ✓
sd payda (Pillai izi) 232 232 232 0,0e+00 ✓
p (Pillai izi) 6,3570·10−18 6,3575·10−18 6,3575·10−18 4,5e−31 ✓ (4 anlamlı basamak)
Değer (Hotelling–Lawley izi) 1,879025 1,879025 1,879025 4,4e−13 ✓
F (Hotelling–Lawley izi) 35,861501 35,861501 35,861501 8,3e−12 ✓
sd payda (Hotelling–Lawley izi) 151,568513 151,568513 151,568513 4,3e−13 ✓
p (Hotelling–Lawley izi) 8,6700·10−27 8,6700·10−27 8,6700·10−27 1,1e−41 ✓ (4 anlamlı basamak)
Değer (Roy en büyük kök) 1,873382 1,873382 1,873382 4,4e−13 ✓
F (Roy en büyük kök) 72,437446 72,437446 72,437446 1,7e−11 ✓
sd payda (Roy en büyük kök) 116 116 116 0,0e+00 ✓
p (Roy en büyük kök) 1,8160·10−26 1,8164·10−26 1,8164·10−26 3,1e−40 ✓ (4 anlamlı basamak)
HL F, R summary.manova tanımı — 35,701466 35,701466 0,0e+00 ✓
HL sd payda, R tanımı — 228 228 0,0e+00 ✓
Kısmi \eta^2 (Wilks’ Λ) 0,411723 0,411723 0,411723 4,5e−14 ✓
Kısmi \eta^2 (Pillai izi) 0,328794 0,328794 0,328794 2,7e−14 ✓
Kısmi \eta^2 (Hotelling-Lawley izi) 0,484406 0,484406 0,484406 5,8e−14 ✓
Kısmi \eta^2 (Roy’un en büyük kökü) 0,651978 0,651978 0,651978 5,3e−14 ✓

Box's M, tanılar ve tek değişkenli takipler:

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Box M 20,589238 20,589238 — 0,0e+00 ✓
Box \chi^2 19,827 19,826673 19,826673 2,8e−14 ✓ (3 ondalık)
Box \chi^2 p 0,0704 0,070437 0,070437 5,6e−17 ✓ (4 ondalık)
Box F 1,651912 1,651912 — 0,0e+00 ✓
Box F p 0,070539 0,070539 — 0,0e+00 ✓
Bartlett küresellik \chi^2 1,857939 1,857939 — 2,9e−15 ✓
Mardia b_{1,p} 0,447382 0,447382 0,447382 2,7e−15 ✓
Mardia çarpıklık \chi^2 8,947638 8,947638 8,947638 5,5e−14 ✓
Mardia b_{2,p} 14,606233 14,606233 14,606233 4,1e−14 ✓
Mardia basıklık z −0,393767 −0,393767 −0,393767 1,4e−15 ✓
En büyük Mahalanobis D^2 12,185095 12,185095 — 1,8e−15 ✓
F (systolic) 40,792542 40,792542 40,792542 5,7e−14 ✓
p (systolic) 3,6220·10−14 3,6224·10−14 3,6224·10−14 2,0e−27 ✓ (4 anlamlı basamak)
\eta^2_p (systolic) 0,410832 0,410832 0,410832 1,1e−16 ✓
Levene F (systolic) 1,559599 1,559599 1,559599 6,9e−15 ✓
Tukey p (systolic: placebo − treatment-A) 2,9568·10−8 2,9568·10−8 2,9568·10−8 2,5e−14 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (systolic: placebo − treatment-B) 5,2292·10−14 5,2292·10−14 8,6375·10−14 3,4e−14 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (systolic: treatment-A − treatment-B) 0,026615 0,026615 0,026615 1,9e−13 ✓
F (diastolic) 47,139000 47,139000 47,139000 6,4e−14 ✓
p (diastolic) 9,6580·10−16 9,6582·10−16 9,6582·10−16 4,9e−29 ✓ (4 anlamlı basamak)
\eta^2_p (diastolic) 0,446227 0,446227 0,446227 4,4e−16 ✓
Levene F (diastolic) 0,103254 0,103254 0,103254 2,5e−16 ✓
Tukey p (diastolic: placebo − treatment-A) 9,6469·10−10 9,6469·10−10 9,6472·10−10 2,8e−14 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (diastolic: placebo − treatment-B) 1,0325·10−14 1,0325·10−14 4,2966·10−14 3,3e−14 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (diastolic: treatment-A − treatment-B) 0,036506 0,036506 0,036506 4,1e−13 ✓
F (pulse) 15,601462 15,601462 15,601462 6,9e−14 ✓
p (pulse) 9,8570·10−7 9,8572·10−7 9,8572·10−7 1,5e−20 ✓ (4 anlamlı basamak)
\eta^2_p (pulse) 0,210542 0,210542 0,210542 6,7e−16 ✓
Levene F (pulse) 0,627021 0,627021 0,627021 1,6e−15 ✓
Tukey p (pulse: placebo − treatment-A) 5,2630·10−5 5,2630·10−5 5,2630·10−5 4,7e−15 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (pulse: placebo − treatment-B) 3,4292·10−6 3,4292·10−6 3,4292·10−6 9,4e−15 ✓ (mutlak 10⁻¹²: ptukey sayısal tabanı)
Tukey p (pulse: treatment-A − treatment-B) 0,788867 0,788867 0,788867 5,3e−14 ✓

Sonuç: 63 büyüklüğün tamamı ölçütü karşılar. Hotelling–Lawley için MerQur, Python (McKeon) ve R'den elle hesaplanan McKeon değeri eşleşir; R'nin varsayılan HL F'si ayrı satırda gösterilmiştir. Tukey p'leri MerQur motorunun saklanan tam hassasiyetli değerleriyle karşılaştırılmıştır (13.5.6); 10^{-4}'ün altındaki p'lerde R ptukey'in sayısal tabanı nedeniyle mutlak 10^{-12} ölçütü kullanılmıştır.

13.7 Çıktıyı okuma

Varsayılan ayarlarla sonuç metni:

MANOVA — Wilks' Λ referansıyla F = 26.8288, p = 3.745e-24 ***. Bağımlı değişkenler: systolic,
diastolic, pulse. Faktör: 'treatment'. n = 120.  H₀ REDDEDİLİR.
Anlamlıysa: ardından her bağımlı değişken için ayrı ANOVA + Bonferroni düzeltmesi (α/k) uygula.
── ETKİ BÜYÜKLÜKLERİ ──
    Çok-değişkenli kısmi η² (1 − Λ^(1/s)) = 0.4117
── VARSAYIM KONTROLLERİ ──
Box's M: χ² = 19.827, df = 12.0, p = 0.0704 → karşılanıyor
── TEK-DEĞİŞKENLİ TAKİP ANOVA'LARI ──
    systolic: F = 40.793, p = 3.62e-14 ***
        p(Bonferroni, ×3 DV) < 0.0001 ***   η²ₚ = 0.4108
    diastolic: F = 47.139, p = 9.66e-16 ***
    ...

Tablo sekmesi:

                   Test     Değer        F  df_pay  df_payda             p  Sig
0              Wilks' Λ  0.346069  26.8288       6       230  3.745000e-24  ***
1            Pillai izi  0.657589  18.9411       6       232  6.357000e-18  ***
2  Hotelling-Lawley izi  1.879025  35.8615       6  151.5685  8.670000e-27  ***
3  Roy'un en büyük kökü  1.873382  72.4374       3       116  1.816000e-26  ***
Satır/Öğe Ne yazar Nasıl yorumlanır
Başlık satırı Referans testin F'si, p'si, DV'ler, n, karar Karar referans teste göredir; Pillai seçilirse "Pillai izi referansıyla" yazar ve altına "Genel karar referansı: Pillai" eklenir.
Test tablosu Dört test: değer, F, pay ve payda sd, p, yıldız Wilks \Lambda=0{,}346: grup farkı genelleştirilmiş varyansın yaklaşık %65'ini oluşturur. HL payda sd'si McKeon yaklaşımıdır.
Çok değişkenli η² 1-\Lambda^{1/s} Wilks'e dayalı ortalama boyut başına açıklanan oran.
Box's M \chi^2, sd, p, etiket Anlamlıysa Pillai'yi referans alın.
Tek değişkenli takipler DV başına F, p, Bonferroni p, η²ₚ Genel test anlamlıysa farkın hangi DV'lerden geldiğini gösterir; DV'ler arası ilişkiyi kullanmaz.
APA satırı Wilks' Λ = 0.346, F(6, 230) = 26.83, p < .001 Referans olarak seçilen testi yazar (varsayılan Wilks).
Uyarı Sabit DV atıldıysa en üstte uyarı hypothesis.py:5689–5690.

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

Tedavinin sistolik basınç, diyastolik basınç ve nabız üzerindeki ortak etkisi tek yönlü MANOVA ile incelendi (n = 120; grup başına 40). Kovaryans matrislerinin eşitliği reddedilmedi, Box's M = 20{,}59, \chi^2(12) = 19{,}83, p = 0{,}070. Tedavinin çok değişkenli etkisi anlamlıydı, Wilks' \Lambda = 0{,}346, F(6,\ 230) = 26{,}83, p < 0{,}001, kısmi \eta^2 = 0{,}41 (Pillai izi V = 0{,}658, F(6,\ 232) = 18{,}94, p < 0{,}001). Bonferroni düzeltmeli tek değişkenli ANOVA'larda tedavi sistolik, F(2,\ 117) = 40{,}79, diyastolik, F(2,\ 117) = 47{,}14, ve nabız, F(2,\ 117) = 15{,}60, üzerinde anlamlıydı (tümü p < 0{,}001).

13.8 Uzman soruları

S1. Referans test olarak hangisi seçilmeli?

Varsayılan Wilks'tir; literatürde en sık raporlanan ve olabilirlik oranına dayanan testtir. Kovaryans eşitliği şüpheliyse ya da gruplar dengesizse Pillai daha dayanıklıdır (Olson 1976). Fark tek boyutta toplanıyorsa Roy en güçlüdür ama F'si üst sınır olduğu için p'si iyimserdir. Bu veride dört test de p<10^{-17} verir; seçim kararı değiştirmez. Seçim analizden önce yapılmalı, sonuçlara bakarak değiştirilmemelidir.

S2. Hotelling–Lawley F'si neden R'den farklı?

MerQur statsmodels'in McKeon (1974) yaklaşımını kullanır, R ise Pillai–Samson yaklaşımını. İstatistiğin değeri aynıdır; F ve sd farklıdır (35,8615 ve sd 151,57 karşısında 35,7015 ve sd 228). McKeon yaklaşımı F dağılımına Pillai–Samson'dan daha iyi uyar (McKeon 1974; Rencher ve Christensen 2012). MerQur bu yüzden McKeon'u bütün MANOVA yollarında, yuvalanmış desen bloğunda da kullanır; aynı çıktıda iki tanım iç tutarsızlık olurdu.

S3. MANOVA anlamlı; tek değişkenli ANOVA'lar yeterli bir izleme mi?

Kısmen. Tek değişkenli ANOVA'lar hangi DV'de fark olduğunu gösterir ama MANOVA'nın gördüğü bileşimi göstermez; MANOVA'yı anlamlı yapan, ayrı ayrı zayıf ama birlikte güçlü bir doğrusal bileşim olabilir (Huberty ve Morris 1989). Bileşimi incelemek için Diskriminant Analizi kullanılır: ilk diskriminant fonksiyonu \lambda_1'e karşılık gelir. MerQur'un tek değişkenli takibi "korumalı" bir yaklaşım değildir; DV sayısıyla Bonferroni uygular.

S4. Box's M anlamlı çıkarsa ne olur?

Gruplar eşit büyüklükteyse MANOVA testleri kovaryans eşitsizliğine oldukça dayanıklıdır; Pillai izi referans alınabilir. Gruplar dengesizse ve büyük grup büyük kovaryansa sahipse testler tutucu, küçük grup büyük kovaryansa sahipse liberal olur. Box testi normallikten sapmaya da duyarlıdır; anlamlı sonuç önce Mardia ile birlikte değerlendirilmelidir. Bu veride p=0{,}070'tir.

S5. Sabit bir bağımlı değişken seçersem?

Hata SSCP matrisi tekil olur. MerQur o DV'yi atar, başa bir uyarı ekler ve testi kalan DV'lerle yapar (hypothesis.py:5494–5510). İkiden az DV kalırsa hata verir. R manova aynı durumda sayısal gürültüyle anlamsız bir sonuç üretir.

S6. Kararda kullanılan p değeri tam mı?

Evet. Referans testin p'si karar (ref_p < alpha) ve sonuç nesnesinin p_value alanı için tam değeriyle kullanılır; tabloda 6 ondalık gösterilir. Yuvarlanmış değerle karar vermek, \alpha'ya çok yakın p'lerde (ör. 0,0499996 → 0,05) kararı tersine çevirebilirdi.

S7. Tukey takiplerindeki küçük p'ler nasıl yazılır?

Tek yönlü Tukey sonuçları tam hassasiyetli dizilerden okunur ve saklanır; çok küçük p'ler 0'a yuvarlanmaz. Sonuç metni 0,0001'in altını "p<0.0001" diye yazar. Bu veride nabızda placebo − treatment-A için saklanan değer p=5{,}26\times10^{-5}'tir.

S8. Mahalanobis eşiği neden %99,9 ve neden güven düzeyine bağlı değil?

Çok değişkenli aykırı değer taramasında yaygın uzlaşım \chi^2_{p;\,0{,}999} eşiğidir. Kodda sabit yazılmıştır (hypothesis.py:2627); formdaki güven düzeyi bu eşiği değiştirmez. D^2, grup merkezli artıkların yansız kovaryansıyla (N-1 paydalı) hesaplanır; N-k paydalı havuzlanmış kovaryansla değerler (N-k)/(N-1) oranında biraz büyük olurdu.

S9. İki grupta MANOVA ile Hotelling T² aynı mı?

Evet. k=2 iken s=1 olur, tek sıfırdan farklı özdeğer vardır ve dört istatistiğin F'si aynıdır: F=\frac{N-p-1}{p}\lambda_1, sd (p,\ N-p-1); bu, iki örneklem Hotelling T^2 testinin kesin F dönüşümüdür.

13.9 Sık hatalar ve tuzaklar

  • MANOVA'yı "çoklu ANOVA'nın hata koruması" sanmak. Genel test anlamlı olunca tek değişkenli testler otomatik olarak korunmuş olmaz; MerQur bu yüzden DV sayısıyla Bonferroni uygular.
  • Referans testi önceden seçmemek. APA satırı ve karar seçilen referans teste göredir; testi sonuçlara bakarak değiştirmek birinci tür hatayı şişirir.
  • Hotelling–Lawley'i R ile karşılaştırırken F farkını hata sanmak. Yaklaşımlar farklıdır (McKeon ve Pillai–Samson).
  • Roy p'sini tek başına raporlamak. Roy F'si üst sınırdır, p'si iyimserdir.
  • Tekrarlı ölçümleri DV gibi girmek. Aynı değişkenin farklı zamanları için Tekrarlı Ölçümler ANOVA'sı (çok değişkenli testleriyle) ya da karma model uygundur; MANOVA zaman yapısını kullanmaz.
  • Box testi anlamlı diye analizi bırakmak. Eşit grup büyüklüğünde testler dayanıklıdır; Pillai'ye geçin.
  • Çok fazla DV. Her DV, \mathbf E'nin kestirilecek p(p+1)/2 öğesini artırır; grup başına gözlem DV sayısının birkaç katı olmalıdır.
  • Faktöriyel blokta farklı n. İkinci faktör ya da kovaryat eklendiğinde blok kendi eksiklerini atar; blok başlığındaki n'yi ana tablodaki n ile karşılaştırın.

13.10 Kaynaklar

  • Bartlett, M. S. (1954). A note on the multiplying factors for various χ² approximations. Journal of the Royal Statistical Society: Series B (Methodological), 16(2), 296–298. https://doi.org/10.1111/j.2517-6161.1954.tb00174.x
  • Box, G. E. P. (1949). A general distribution theory for a class of likelihood criteria. Biometrika, 36(3–4), 317–346. https://doi.org/10.1093/biomet/36.3-4.317
  • Huberty, C. J., & Morris, J. D. (1989). Multivariate analysis versus multiple univariate analyses. Psychological Bulletin, 105(2), 302–308. https://doi.org/10.1037/0033-2909.105.2.302
  • Lawley, D. N. (1938). A generalization of Fisher's z test. Biometrika, 30(1–2), 180–187. https://doi.org/10.1093/biomet/30.1-2.180
  • Mardia, K. V. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 57(3), 519–530. https://doi.org/10.1093/biomet/57.3.519
  • McKeon, J. J. (1974). F approximations to the distribution of Hotelling's T_0^2. Biometrika, 61(2), 381–383. https://doi.org/10.1093/biomet/61.2.381
  • Olson, C. L. (1976). On choosing a test statistic in multivariate analysis of variance. Psychological Bulletin, 83(4), 579–586. https://doi.org/10.1037/0033-2909.83.4.579
  • Pillai, K. C. S. (1955). Some new test criteria in multivariate analysis. The Annals of Mathematical Statistics, 26(1), 117–121. https://doi.org/10.1214/aoms/1177728599
  • Rao, C. R. (1951). An asymptotic expansion of the distribution of Wilks' criterion. Bulletin of the International Statistical Institute, 33(2), 177–180.
  • Roy, S. N. (1953). On a heuristic method of test construction and its use in multivariate analysis. The Annals of Mathematical Statistics, 24(2), 220–238. https://doi.org/10.1214/aoms/1177729029
  • Wilks, S. S. (1932). Certain generalizations in the analysis of variance. Biometrika, 24(3–4), 471–494. https://doi.org/10.1093/biomet/24.3-4.471