Teoria generalizowalności – ile błędu wnoszą oceniający, a ile zadania?

Opracowanie merytoryczne: Konrad Hryniewicz · Opublikowano: 29 października 2026

Co to jest teoria generalizowalności?

Teoria generalizowalności (teoria G, ang. generalizability theory) to rozszerzenie klasycznej teorii rzetelności. Klasyczna teoria ma jeden błąd pomiaru, a teoria G rozkłada go na źródła, zwane fasetami: oceniających, zadania, okazje pomiaru. Brennan (2001) opisuje ją jako zastosowanie analizy wariancji do komponentów wariancji. Bloch i Norman (2012) wyjaśniają ją krok po kroku na przykładach z edukacji medycznej, m.in. egzaminów OSCE i skal ocen.

Badanie G i badanie D

Badanie G szacuje komponenty wariancji, np. w schemacie osoba × oceniający × zadanie: wariancję osób, faset i ich interakcji. Badanie D używa ich do pytania „co, jeśli”: jak zmieni się rzetelność przy innej liczbie oceniających lub zadań, i wskazać najtańszą drogę do wymaganej precyzji (Shavelson i Webb, 1991). Współczynnik G (ρ²) dotyczy decyzji względnych, czyli porządkowania osób, i obejmuje tylko interakcje z osobami. Współczynnik Φ dotyczy decyzji bezwzględnych, np. progu zaliczenia, więc wlicza też główne efekty faset, takie jak surowość oceniających. Dla jednej fasety G odpowiada ICC zgodności średnich ocen, a w schemacie osoba × pozycja – alfie Cronbacha.

Przykład

W symulowanych danych 40 osób oceniło 3 oceniających w 4 zadaniach. Osoby odpowiadały za 50.4% wariancji, interakcja osoba × zadanie za 18.1%, a osoba × oceniający za 5.9%. Obecny plan dał G = .875 i Φ = .807. Badanie D pokazało, że 2 oceniających i 8 zadań (G = .898) to lepszy plan niż 3 oceniających i 4 zadania, bo więcej błędu wnoszą zadania niż oceniający.

Jak opisać w pracy

Na co uważać

• Mało poziomów fasety. Wariancję oceniających przy trzech osobach oceniających szacuje się bardzo niepewnie.
• G czy Φ. Przy progach i normach podaj Φ; wynika z niej też błąd pomiaru dla decyzji bezwzględnych.
• Schemat zagnieżdżony. Gdy każdy oceniający ocenia inne osoby, część komponentów się zlewa.

Pełne badanie G i D w R pokazuje wpis Teoria generalizowalności – badania G i D, a prostsze miary zgodności – Zgodność sędziów: kappa, ICC, alfa.

suppressPackageStartupMessages(library(lme4))
set.seed(3794)
np <- 40; nr <- 3; nt <- 4                         # 40 osób × 3 oceniających × 4 zadania
d <- expand.grid(p = factor(1:np), r = factor(1:nr), t = factor(1:nt))
efekt <- function(f, sd) rnorm(nlevels(f), sd = sd)[f]
d$wynik <- 50 + efekt(d$p, 6) + efekt(d$r, 2) + efekt(d$t, 3) +
  efekt(interaction(d$p, d$r), 2) + efekt(interaction(d$p, d$t), 4) +
  efekt(interaction(d$r, d$t), 1) + rnorm(nrow(d), sd = 3)

m <- lmer(wynik ~ 1 + (1 | p) + (1 | r) + (1 | t) + (1 | p:r) + (1 | p:t) + (1 | r:t),
          data = d, REML = TRUE)
vc <- as.data.frame(VarCorr(m))
s2 <- setNames(vc$vcov, vc$grp)                     # komponenty wariancji
round(s2, 2)
round(100 * s2 / sum(s2), 1)                        # procent wariancji całkowitej

wsp <- function(n_r, n_t) {                         # badanie D: współczynniki G i Phi
  bl_wzgl <- s2["p:r"] / n_r + s2["p:t"] / n_t + s2["Residual"] / (n_r * n_t)
  bl_abs  <- bl_wzgl + s2["r"] / n_r + s2["t"] / n_t + s2["r:t"] / (n_r * n_t)
  c(G = unname(s2["p"] / (s2["p"] + bl_wzgl)), Phi = unname(s2["p"] / (s2["p"] + bl_abs)))
}
plan <- expand.grid(oceniajacy = c(1, 2, 3), zadania = c(2, 4, 8))
round(cbind(plan, t(mapply(wsp, plan$oceniajacy, plan$zadania))), 3)

     p:t      p:r        p      r:t        t        r Residual
   17.53     5.75    48.90     0.55     8.64     7.51     8.20
     p:t      p:r        p      r:t        t        r Residual
    18.1      5.9     50.4      0.6      8.9      7.7      8.4
  oceniajacy zadania     G   Phi
1          1       2 0.724 0.614
2          2       2 0.781 0.691
3          3       2 0.802 0.721
4          1       4 0.801 0.690
5          2       4 0.855 0.774
6          3       4 0.875 0.807
7          1       8 0.845 0.735
8          2       8 0.898 0.824
9          3       8 0.917 0.859

Najczęstsze pytania

Czym współczynnik G różni się od współczynnika Φ?

G obejmuje tylko błędy zmieniające kolejność osób (interakcje z osobami), więc pasuje do porównań względnych. Φ dodaje główne efekty faset, np. to, że jeden oceniający jest surowszy od innych; jest niższy od G i właściwy przy progach zaliczenia.

Ile osób i oceniających potrzeba do badania G?

Nie ma jednej liczby, ale komponent fasety szacuje się z liczby jej poziomów. Przy 2–3 oceniających wariancja oceniających jest bardzo niepewna, więc w badaniu G lepiej mieć ich więcej niż w docelowym pomiarze, a w badaniu D wnioskować ostrożnie.

Jak policzyć teorię G w R bez pakietu gtheory?

Dopasuj lme4::lmer(wynik ~ 1 + (1|p) + (1|r) + (1|t) + (1|p:r) + (1|p:t) + (1|r:t)), odczytaj komponenty z VarCorr() i wstaw je do wzorów na G i Φ, dzieląc wariancje błędu przez planowaną liczbę oceniających i zadań.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

@article{bloch2012generalizability, author={Bloch, Ralph and Norman, Geoffrey}, title={{Generalizability theory for the perplexed: A practical introduction and guide: AMEE Guide No. 68}}, journal={Medical Teacher}, year={2012}, volume={34}, number={11}, pages={960--992}, doi={10.3109/0142159x.2012.703791}}

@book{brennan2001generalizability, author={Brennan, Robert L.}, title={{Generalizability theory}}, year={2001}, publisher={Springer}, doi={10.1007/978-1-4757-3456-0}}

@book{shavelson1991generalizability, author={Shavelson, Richard J. and Webb, Noreen M.}, title={{Generalizability theory: A primer}}, year={1991}, publisher={Sage}, url={https://openlibrary.org/isbn/9780803937451}}