Słownik metodologiczny · Zależności i efekty

Efekt główny – co to jest i jak go interpretować w ANOVA czynnikowej?

Efekt główny to wpływ jednego czynnika uśredniony po poziomach pozostałych czynników. Pokazujemy, czym są średnie brzegowe, jak odczytać efekt główny w planie 2 × 2 i kiedy interakcja odbiera mu sens – z kodem R i opisem APA.

Strona główna / Słownik / Efekt główny
W skrócie: Efekt główny to wpływ jednego czynnika na zmienną zależną uśredniony po poziomach pozostałych czynników – różnica między średnimi brzegowymi, a nie między pojedynczymi komórkami planu. W dwuczynnikowej ANOVA każdy efekt główny ma własny test F. Interpretuj go wprost tylko przy pomijalnej interakcji; gdy interakcja jest istotna, efekt główny to średnia efektów prostych, które mogą mieć różną wielkość, a nawet przeciwne kierunki.

Co to jest efekt główny?

Efekt główny (ang. main effect) to wpływ jednego czynnika na zmienną zależną uśredniony po poziomach pozostałych czynników. Pojęcie należy do planów czynnikowych, w których jednocześnie uwzględnia się dwie lub więcej zmiennych niezależnych – na przykład w dwuczynnikowej analizie wariancji (ANOVA). Każdy czynnik ma własny efekt główny, a obok nich model zawiera efekt interakcji, który sprawdza, czy wpływ jednego czynnika zależy od poziomu drugiego.

Przymiotnik „główny” nie znaczy „najważniejszy”. Oznacza efekt odczytany z marginesów tabeli średnich, czyli ze średnich brzegowych, w których drugi czynnik został uśredniony. Dlatego oba czynniki ujmuje się w jednym modelu, a nie w dwóch osobnych analizach – Kim (2014) zwraca uwagę, że powtarzanie analiz jednoczynnikowych dla kolejnych poziomów drugiego czynnika nie pozwala wykryć interakcji. Szersze, merytoryczne znaczenie zależności typu „to zależy” omawiamy w haśle interakcja zmiennych.

Średnie w komórkach a średnie brzegowe

W planie 2 × 2 każda osoba trafia do jednej z czterech komórek, czyli kombinacji poziomów czynnika A i czynnika B. Średnia brzegowa poziomu A1 to średnia z dwóch komórek tego poziomu (A1B1 i A1B2), a efekt główny A – różnica dwóch takich średnich:

Efekt główny A = ½(μA2B1 + μA2B2) − ½(μA1B1 + μA1B2) = ½[(μA2B1 − μA1B1) + (μA2B2 − μA1B2)]

Drugi zapis jest ważniejszy, niż się wydaje: efekt główny to średnia efektów prostych, czyli różnic między poziomami A obliczonych osobno na każdym poziomie B. Gdy oba efekty proste są podobne, ich średnia dobrze opisuje każdy z nich. Gdy się różnią, średnia przestaje opisywać którykolwiek – i właśnie to sprawdza test interakcji.

W planie zrównoważonym (równe liczebności komórek) średnia brzegowa jest po prostu średnią wszystkich osób na danym poziomie czynnika. Przy nierównych liczebnościach to już nie to samo. Programy podają wtedy szacowane średnie brzegowe z modelu (SPSS: Estimated Marginal Means, R: pakiet emmeans), czyli nieważone średnie z komórek. Ten parametr, wcześniej nazywany „średnią najmniejszych kwadratów”, opisali i nazwali populacyjną średnią brzegową Searle, Speed i Milliken (1980). Z tym rozróżnieniem wiąże się wybór typu sum kwadratów: typ III testuje różnice nieważonych średnich brzegowych, a hipoteza testowana w typie II zależy od liczebności komórek. Smith i Cribbie (2014) zalecają do testowania efektów głównych typ II, który przy braku interakcji testuje sensowne hipotezy i ma największą moc. Przykład, w którym typ II i III prowadzą do różnych wniosków, pokazujemy we wpisie ANOVA krok po kroku.

Przykład: plan 2 × 2 bez interakcji

Sto dwadzieścia osób studiujących losowo przydzielono do czterech wersji czterotygodniowego programu redukcji stresu (dane symulowane). Program miał dwa moduły, które badacze chcieli ocenić jednocześnie: trening oddechowy (tak/nie) i psychoedukację o śnie (tak/nie). To plan czynnikowy 2 × 2 z dwoma czynnikami międzyobiektowymi, po 30 osób w komórce. Zmienną zależną był stres po zakończeniu programu (skala 0–40; wyższy wynik oznacza większy stres).

Średnie stresu w czterech komórkach planu 2 × 2 i średnie brzegowe
Trening oddechowyBez psychoedukacjiZ psychoedukacjąŚrednia brzegowa
Nie20.6317.7719.20
Tak16.9314.3715.65
Średnia brzegowa18.7816.0717.43 (średnia ogólna)

Dwuczynnikowa ANOVA dała trzy testy:

  • efekt główny treningu oddechowego: F(1, 116) = 9.93, p = .002, η²p = .08, 95% CI [.01, .19];
  • efekt główny psychoedukacji: F(1, 116) = 5.81, p = .017, η²p = .05, 95% CI [.00, .14];
  • interakcja: F(1, 116) = 0.02, p = .894, η²p < .01.

Interakcja jest pomijalna, więc efekty główne można odczytać wprost. Osoby po treningu oddechowym miały średnio niższy stres niż osoby bez treningu: 15.65 wobec 19.20 punktu, różnica = −3.55, 95% CI [−5.78, −1.32], d = −0.58. Psychoedukacja także obniżała stres: 16.07 wobec 18.78 punktu, różnica = −2.72, 95% CI [−4.95, −0.49], d = −0.44. Wartości d Cohena policzono względem odchylenia standardowego błędu modelu (6.17).

Panel A: średnie stresu w czterech komórkach z 95% CI – bez treningu 20.63 i 17.77, z treningiem 16.93 i 14.37, linie dla grup z psychoedukacją i bez niej są prawie równoległe. Panel B: średnie brzegowe – trening 19.20 wobec 15.65 (efekt główny −3.55, 95% CI [−5.78, −1.32]), psychoedukacja 18.78 wobec 16.07 (efekt główny −2.72, 95% CI [−4.95, −0.49])
Rysunek 1. Te same dane na dwa sposoby. A: średnie stresu w czterech komórkach z 95% przedziałami ufności na tle wyników osób; linie są prawie równoległe, więc interakcji brak. B: średnie brzegowe obu czynników (czerwone punkty z 95% CI); puste kółka to średnie z dwóch komórek, które składają się na każdą średnią brzegową. Obliczenia: R (dane symulowane).

Rysunek pokazuje, skąd bierze się efekt główny. Trening obniżał stres o 3.70 punktu u osób bez psychoedukacji i o 3.40 punktu u osób z psychoedukacją (efekty proste −3.70 i −3.40). Średnia tych dwóch efektów prostych to dokładnie −3.55, czyli efekt główny. Ponieważ oba efekty proste są niemal równe, ta średnia rzetelnie opisuje działanie treningu w obu grupach.

Plan czynnikowy ma tu jeszcze jedną zaletę: każda osoba wnosi informację o obu efektach głównych. Efekt prosty treningu opiera się na 60 osobach (błąd standardowy 1.59), a efekt główny – na wszystkich 120 (błąd standardowy 1.13). Dwa moduły sprawdzono więc w jednym badaniu, bez dzielenia próby na dwa osobne eksperymenty. Ta oszczędność działa jednak tylko wtedy, gdy moduły nie wchodzą ze sobą w interakcję.

Efekt główny przy istotnej interakcji

Ten sam efekt główny może opisywać zupełnie różne układy wyników. W tabeli zebraliśmy trzy hipotetyczne warianty, w których efekt główny treningu wynosi −3.5 punktu.

Trzy układy efektów prostych o tym samym efekcie głównym
Układ wynikówEfekt treningu bez psychoedukacjiEfekt treningu z psychoedukacjąEfekt główny (średnia)Co mówi efekt główny
Brak interakcji−3.5−3.5−3.5Dobrze opisuje obie grupy
Interakcja porządkująca−7.00.0−3.5Uśrednia silny efekt i jego brak; nie pasuje do żadnej grupy
Interakcja krzyżowa−9.0+2.0−3.5Ukrywa, że w jednej grupie trening podnosi stres

Rosnow i Rosenthal (1989) przypominają, że interakcja jest tym, co zostaje w średnich z komórek po usunięciu efektów głównych – to odrębny składnik wyniku, a nie dodatek do nich. Wynika z tego praktyczna kolejność interpretacji:

  1. Zacznij od testu interakcji. Gdy jest pomijalna – jak w naszym przykładzie – opisz efekty główne.
  2. Gdy interakcja jest istotna, opisz najpierw efekty proste i kształt interakcji. Efekt główny podaj na końcu jako średnią z wyraźnym zastrzeżeniem, a przy interakcji krzyżowej w ogóle go nie interpretuj.
  3. Nieistotna interakcja nie dowodzi jej braku. Test interakcji ma zwykle mniejszą moc niż test efektu głównego, więc obejrzyj wykres i przedział ufności dla interakcji, zanim uznasz efekty proste za równe.

Uważaj też na język regresji. W modelu z iloczynem Y = b0 + b1X + b2W + b3XW współczynnik b1 nie jest efektem głównym, tylko efektem X przy W = 0. Bliski efektowi głównemu staje się dopiero wtedy, gdy zero oznacza środek drugiej zmiennej – po jej wycentrowaniu albo przy kodowaniu efektów. Więcej piszemy w haśle moderacja i w poradniku analiza moderacji krok po kroku.

Jak opisać efekt główny w pracy (APA)

Podaj najpierw wynik testu interakcji, a potem każdy efekt główny: statystykę F ze stopniami swobody, dokładne p, wielkość efektu z przedziałem ufności oraz średnie brzegowe z różnicą i jej 95% CI. Lakens (2013) zaleca raportowanie wielkości efektów tak, by wynik mógł posłużyć innym badaczom do analiz mocy i metaanaliz – stąd η²p i d obok wartości p. Wzór opisu dla przykładu:

Przeprowadzono dwuczynnikową analizę wariancji 2 (trening oddechowy: nie vs tak) × 2 (psychoedukacja o śnie: nie vs tak). Interakcja czynników nie była istotna, F(1, 116) = 0.02, p = .894, η²p < .01. Istotny był efekt główny treningu oddechowego, F(1, 116) = 9.93, p = .002, η²p = .08, 95% CI [.01, .19]: osoby po treningu zgłaszały niższy stres (M = 15.65, SD = 6.15) niż osoby bez treningu (M = 19.20, SD = 6.39), różnica = −3.55 pkt, 95% CI [−5.78, −1.32], d = −0.58. Istotny był także efekt główny psychoedukacji, F(1, 116) = 5.81, p = .017, η²p = .05, 95% CI [.00, .14]: stres był niższy w grupach z psychoedukacją (M = 16.07, SD = 6.75) niż bez niej (M = 18.78, SD = 5.98), różnica = −2.72 pkt, 95% CI [−4.95, −0.49], d = −0.44.

Tabelę z wynikami testów F przygotujesz według wzoru z hasła tabela ANOVA w APA. Gdy czynnik ma więcej niż dwa poziomy, istotny efekt główny mówi tylko, że średnie brzegowe nie są wszystkie równe. Które poziomy się różnią, sprawdzą dopiero testy post hoc wykonane na średnich brzegowych.

Przykład reprodukowalny

Przykład w R

Kod tworzy dane z przykładu, liczy średnie w komórkach i średnie brzegowe, dwuczynnikową ANOVA z cząstkowym η² oraz efekty główne i proste w pakiecie emmeans. Liczby w tekście i na rysunku 1 pochodzą z tego kodu.

Efekty główne, średnie brzegowe i efekty proste

Dane wejściowe: 120 osób w planie 2 × 2, po 30 w komórce (dane symulowane, set.seed(61)): trening oddechowy, psychoedukacja o śnie i stres (0–40).

Co odczytać: wiersze oddech i psychoedukacja w tabeli ANOVA, kolumnę emmean (średnie brzegowe), różnice tak - nie z 95% CI i d (effect.size) oraz dwa efekty proste, których średnia równa się efektowi głównemu. Komunikat pakietu emmeans o interakcji przypomina, że średnie brzegowe dobrze opisują dane tylko przy pomijalnej interakcji.

R
library(emmeans)      # średnie brzegowe, efekty główne i proste
library(effectsize)   # cząstkowe eta kwadrat z 95% CI

# Dane symulowane: plan czynnikowy 2 × 2, po 30 osób w każdej komórce (N = 120)
# Czynnik A: trening oddechowy (nie / tak), czynnik B: psychoedukacja o śnie (nie / tak)
# Zmienna zależna: stres po czterech tygodniach (skala 0–40, wyższy wynik = większy stres)
set.seed(61)
n <- 30
dane <- expand.grid(osoba = 1:n, oddech = c("nie", "tak"), psychoedukacja = c("nie", "tak"))
mu <- 21 - 3.5 * (dane$oddech == "tak") - 2.5 * (dane$psychoedukacja == "tak")
dane$stres <- pmin(pmax(round(rnorm(nrow(dane), mu, 6)), 0), 40)

# 1. Średnie w komórkach i średnie brzegowe
aggregate(stres ~ oddech + psychoedukacja, data = dane, FUN = function(x) round(c(M = mean(x), SD = sd(x)), 2))
aggregate(stres ~ oddech, data = dane, FUN = function(x) round(c(M = mean(x), SD = sd(x)), 2))
aggregate(stres ~ psychoedukacja, data = dane, FUN = function(x) round(c(M = mean(x), SD = sd(x)), 2))

# 2. Dwuczynnikowa ANOVA z kodowaniem efektów (plan zrównoważony: typy I, II i III dają ten sam wynik)
options(contrasts = c("contr.sum", "contr.poly"))
model <- lm(stres ~ oddech * psychoedukacja, data = dane)
anova(model)
eta_squared(model, partial = TRUE, alternative = "two.sided")

# 3. Efekty główne jako różnice średnich brzegowych z 95% CI i d Cohena
emm_oddech <- emmeans(model, ~ oddech)
emm_oddech
confint(pairs(emm_oddech, reverse = TRUE))
eff_size(emm_oddech, sigma = sigma(model), edf = df.residual(model), method = "revpairwise")
emm_psych <- emmeans(model, ~ psychoedukacja)
confint(pairs(emm_psych, reverse = TRUE))
eff_size(emm_psych, sigma = sigma(model), edf = df.residual(model), method = "revpairwise")

# 4. Efekt główny treningu = średnia jego efektów prostych na obu poziomach psychoedukacji
proste <- pairs(emmeans(model, ~ oddech | psychoedukacja), reverse = TRUE)
summary(proste, infer = TRUE)
Wynik w R
Welcome to emmeans.
Caution: You lose important information if you filter this package's results.
See '? untidy'
  oddech psychoedukacja stres.M stres.SD
1    nie            nie   20.63     5.59
2    tak            nie   16.93     5.87
3    nie            tak   17.77     6.90
4    tak            tak   14.37     6.25
  oddech stres.M stres.SD
1    nie   19.20     6.39
2    tak   15.65     6.15
  psychoedukacja stres.M stres.SD
1            nie   18.78     5.98
2            tak   16.07     6.75
Analysis of Variance Table

Response: stres
                       Df Sum Sq Mean Sq F value   Pr(>F)   
oddech                  1  378.1  378.07  9.9287 0.002071 **
psychoedukacja          1  221.4  221.41  5.8144 0.017464 * 
oddech:psychoedukacja   1    0.7    0.67  0.0177 0.894313   
Residuals             116 4417.2   38.08                    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# Effect Size for ANOVA (Type I)

Parameter             | Eta2 (partial) |       95% CI
-----------------------------------------------------
oddech                |           0.08 | [0.01, 0.19]
psychoedukacja        |           0.05 | [0.00, 0.14]
oddech:psychoedukacja |       1.53e-04 | [0.00, 0.02]
NOTE: Results may be misleading due to involvement in interactions
 oddech emmean    SE  df lower.CL upper.CL
 nie      19.2 0.797 116     17.6     20.8
 tak      15.7 0.797 116     14.1     17.2

Results are averaged over the levels of: psychoedukacja 
Confidence level used: 0.95 
 contrast  estimate   SE  df lower.CL upper.CL
 tak - nie    -3.55 1.13 116    -5.78    -1.32

Results are averaged over the levels of: psychoedukacja 
Confidence level used: 0.95 
 contrast  effect.size    SE  df lower.CL upper.CL
 tak - nie      -0.575 0.186 116   -0.945   -0.206

Results are averaged over the levels of: psychoedukacja 
sigma used for effect sizes: 6.171 
Confidence level used: 0.95 
NOTE: Results may be misleading due to involvement in interactions
 contrast  estimate   SE  df lower.CL upper.CL
 tak - nie    -2.72 1.13 116    -4.95   -0.485

Results are averaged over the levels of: oddech 
Confidence level used: 0.95 
 contrast  effect.size    SE  df lower.CL upper.CL
 tak - nie       -0.44 0.185 116   -0.806  -0.0741

Results are averaged over the levels of: oddech 
sigma used for effect sizes: 6.171 
Confidence level used: 0.95 
psychoedukacja = nie:
 contrast  estimate   SE  df lower.CL upper.CL t.ratio p.value
 tak - nie     -3.7 1.59 116    -6.86   -0.544  -2.322  0.0220

psychoedukacja = tak:
 contrast  estimate   SE  df lower.CL upper.CL t.ratio p.value
 tak - nie     -3.4 1.59 116    -6.56   -0.244  -2.134  0.0350

Confidence level used: 0.95 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3; rysunek przygotowano w pakietach ggplot2 i patchwork. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. emmeans (wersja 2.0.2): Lenth, R. V., & Piaskowski, J. (2026). emmeans: Estimated marginal means, aka least-squares means [R package]. https://doi.org/10.32614/CRAN.package.emmeans
  3. effectsize (wersja 1.0.2): Ben-Shachar, M. S., Lüdecke, D., & Makowski, D. (2020). effectsize: Estimation of effect size indices and standardized parameters. Journal of Open Source Software, 5(56), 2815. https://doi.org/10.21105/joss.02815
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze błędy

  • Efekt główny odczytany z dwóch komórek. Porównanie grupy „trening i psychoedukacja” z grupą „bez obu modułów” to nie efekt główny, tylko porównanie dwóch komórek, w którym mieszają się wpływy obu czynników.
  • Interpretowanie efektów głównych mimo krzyżowej interakcji. Średnia efektów o przeciwnych znakach może być bliska zera albo wskazywać kierunek, którego nie ma w żadnej grupie.
  • „Interakcja nieistotna, więc jej nie ma”. Test interakcji ma małą moc – podaj jego wynik z wielkością efektu, zamiast pomijać go milczeniem.
  • Współczynnik b1 z modelu z iloczynem nazwany efektem głównym. To efekt warunkowy przy zerze drugiej zmiennej.
  • Brak informacji o typie sum kwadratów i rodzaju średnich brzegowych przy nierównych liczebnościach komórek – od tego wyboru może zależeć wniosek o efekcie głównym (Smith i Cribbie, 2014).
  • Cząstkowe η² podpisane jako η². W planach czynnikowych to różne miary – zob. eta kwadrat.

Najczęstsze pytania

Co to jest efekt główny w ANOVA?

Efekt główny to wpływ jednego czynnika na zmienną zależną po uśrednieniu wyników po poziomach pozostałych czynników. W planie 2 × 2 jest to różnica między dwiema średnimi brzegowymi, np. średnim stresem wszystkich osób z treningiem i wszystkich bez treningu. ANOVA czynnikowa podaje dla każdego efektu głównego osobny test F.

Czym się różni efekt główny od efektu interakcji?

Efekt główny opisuje przeciętny wpływ jednego czynnika, a efekt interakcji – to, czy wpływ jednego czynnika zmienia się w zależności od poziomu drugiego. W planie 2 × 2 efekt główny to średnia dwóch efektów prostych, a interakcja to ich różnica.

Czy interpretować efekt główny, gdy interakcja jest istotna?

Ostrożnie. Efekt główny jest wtedy średnią efektów prostych, które różnią się wielkością albo kierunkiem, więc nie opisuje żadnej konkretnej grupy. Najpierw opisz interakcję i efekty proste, a efekt główny podaj na końcu z zastrzeżeniem; przy interakcji krzyżowej nie interpretuj go wcale.

Co to są średnie brzegowe?

Średnia brzegowa to średnia zmiennej zależnej na danym poziomie jednego czynnika, uśredniona po poziomach pozostałych czynników – nazwa pochodzi od marginesów tabeli średnich. Programy liczą zwykle szacowane średnie brzegowe z modelu (SPSS: Estimated Marginal Means, R: pakiet emmeans), które przy nierównych liczebnościach komórek różnią się od zwykłych średnich całych grup.

Jak opisać efekt główny w APA?

Podaj test F ze stopniami swobody, dokładne p i wielkość efektu, a potem średnie brzegowe i ich różnicę z 95% przedziałem ufności, np. F(1, 116) = 9.93, p = .002, η²p = .08; różnica = −3.55 pkt, 95% CI [−5.78, −1.32]. Napisz też, jaki był wynik testu interakcji.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Kim, H.-Y. (2014). Statistical notes for clinical researchers: Two-way analysis of variance (ANOVA)-exploring possible interaction between factors. Restorative Dentistry & Endodontics, 39(2), 143–147. https://doi.org/10.5395/rde.2014.39.2.143 ● Otwarty dostęp
  2. Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, Article 863. https://doi.org/10.3389/fpsyg.2013.00863 ● Otwarty dostęp
  3. Rosnow, R. L., & Rosenthal, R. (1989). Definition and interpretation of interaction effects. Psychological Bulletin, 105(1), 143–146. https://doi.org/10.1037/0033-2909.105.1.143
  4. Searle, S. R., Speed, F. M., & Milliken, G. A. (1980). Population marginal means in the linear model: An alternative to least squares means. The American Statistician, 34(4), 216–221. https://doi.org/10.1080/00031305.1980.10483031
  5. Smith, C. E., & Cribbie, R. (2014). Factorial ANOVA with unbalanced data: A fresh look at the types of sums of squares. Journal of Data Science, 12(3), 385–404. https://doi.org/10.6339/JDS.201407_12(3).0001 ● Otwarty dostęp

Cytowania BibTeX

@article{kim2014twoway, author={Kim, Hae-Young}, title={{Statistical notes for clinical researchers: Two-way analysis of variance (ANOVA)-exploring possible interaction between factors}}, journal={Restorative Dentistry \& Endodontics}, year={2014}, volume={39}, number={2}, pages={143--147}, doi={10.5395/rde.2014.39.2.143}}
@article{lakens2013calculating, author={Lakens, Daniël}, title={{Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs}}, journal={Frontiers in Psychology}, year={2013}, volume={4}, eid={863}, doi={10.3389/fpsyg.2013.00863}}
@article{rosnow1989definition, author={Rosnow, Ralph L. and Rosenthal, Robert}, title={{Definition and interpretation of interaction effects}}, journal={Psychological Bulletin}, year={1989}, volume={105}, number={1}, pages={143--146}, doi={10.1037/0033-2909.105.1.143}}
@article{searle1980population, author={Searle, S. R. and Speed, F. M. and Milliken, G. A.}, title={{Population marginal means in the linear model: An alternative to least squares means}}, journal={The American Statistician}, year={1980}, volume={34}, number={4}, pages={216--221}, doi={10.1080/00031305.1980.10483031}}
@article{smith2014factorial, author={Smith, Carrie E. and Cribbie, Robert}, title={{Factorial ANOVA with unbalanced data: A fresh look at the types of sums of squares}}, journal={Journal of Data Science}, year={2014}, volume={12}, number={3}, pages={385--404}, doi={10.6339/jds.201407_12(3).0001}}
R