Słownik metodologiczny · Psychometria

Teoria generalizowalności – ile błędu wnoszą oceniający, a ile zadania?

Teoria generalizowalności rozkłada błąd pomiaru na źródła, takie jak oceniający i zadania, i pozwala zaplanować pomiar o wymaganej rzetelności. Pokazujemy badanie G i D, współczynniki G i Φ, przykład w R i opis do pracy.

Strona główna / Słownik / Teoria generalizowalności
W skrócie: Teoria generalizowalności rozkłada błąd pomiaru na źródła (fasety), np. oceniających i zadania. Badanie G szacuje komponenty wariancji, a badanie D – rzetelność przy innej liczbie oceniających lub zadań. Współczynnik G służy do porządkowania osób, a Φ – do decyzji bezwzględnych.

Co to jest teoria generalizowalności?

Teoria generalizowalności (teoria G, ang. generalizability theory) to rozszerzenie klasycznej teorii rzetelności. Klasyczna teoria ma jeden błąd pomiaru, a teoria G rozkłada go na źródła, zwane fasetami: oceniających, zadania, okazje pomiaru. Brennan (2001) opisuje ją jako zastosowanie analizy wariancji do komponentów wariancji. Bloch i Norman (2012) wyjaśniają ją krok po kroku na przykładach z edukacji medycznej, m.in. egzaminów OSCE i skal ocen.

Badanie G i badanie D

Badanie G szacuje komponenty wariancji, np. w schemacie osoba × oceniający × zadanie: wariancję osób, faset i ich interakcji. Badanie D używa ich do pytania „co, jeśli”: jak zmieni się rzetelność przy innej liczbie oceniających lub zadań, i wskazać najtańszą drogę do wymaganej precyzji (Shavelson i Webb, 1991). Współczynnik G (ρ²) dotyczy decyzji względnych, czyli porządkowania osób, i obejmuje tylko interakcje z osobami. Współczynnik Φ dotyczy decyzji bezwzględnych, np. progu zaliczenia, więc wlicza też główne efekty faset, takie jak surowość oceniających. Dla jednej fasety G odpowiada ICC zgodności średnich ocen, a w schemacie osoba × pozycja – alfie Cronbacha.

Przykład

W symulowanych danych 40 osób oceniło 3 oceniających w 4 zadaniach. Osoby odpowiadały za 50.4% wariancji, interakcja osoba × zadanie za 18.1%, a osoba × oceniający za 5.9%. Obecny plan dał G = .875 i Φ = .807. Badanie D pokazało, że 2 oceniających i 8 zadań (G = .898) to lepszy plan niż 3 oceniających i 4 zadania, bo więcej błędu wnoszą zadania niż oceniający.

Na rysunku

Rysunek używa komponentów wariancji z przykładu (dane symulowane, set.seed(3794)). Pokazuje, co dzieje się z nimi w badaniu D: każdy składnik błędu dzieli się przez liczbę oceniających, zadań albo ich iloczyn. Sześć planów ma ten sam koszt, 12 ocen na osobę; plan 1 × 1 (jedna ocena) jest punktem odniesienia.

Poziome słupki skumulowane dla siedmiu planów pomiaru. Każdy słupek to wariancja błędu średniego wyniku osoby, podzielona na cztery części: osoba × oceniający, osoba × zadanie, resztę i część wchodzącą tylko do Φ (surowość oceniających, trudność zadań). Przy jednej ocenie błąd wynosi 48.2, G = .608, Φ = .504. Przy 12 ocenach na osobę: 12 oceniających × 1 zadanie G = .723; 6 × 2 G = .825; 4 × 3 G = .860; 3 × 4 G = .875; 2 × 6 G = .883; 1 × 12 G = .861. Najdłuższą część słupka przy jednym zadaniu tworzy interakcja osoba × zadanie.
Rysunek 1. Wariancja błędu średniego wyniku osoby w siedmiu planach badania D. Obliczenia: R, pakiety lme4 i ggplot2 (dane symulowane).

Co widać. Wariancja osób wynosi 48.9 i jest licznikiem obu współczynników, więc o wyniku decyduje tylko długość słupka błędu. Przy jednym zadaniu dominuje interakcja osoba × zadanie (17.53), której nie zmniejszy żadna liczba oceniających: 12 oceniających daje G = .723. Gdy te same 12 ocen rozłożyć na 2 oceniających i 6 zadań, składniki osoba × oceniający i osoba × zadanie są prawie równe (2.88 i 2.92), a G rośnie do .883. Plan 1 × 12 znów traci (G = .861), bo zostaje cała wariancja osoba × oceniający, a dla Φ także cała surowość jedynego oceniającego.

Na co uważać. Rysunek traktuje komponenty z badania G jak znane wartości. Przy 3 oceniających i 4 zadaniach są one niepewne, więc różnica między planami 3 × 4 i 2 × 6 (.875 i .883) mieści się w błędzie oszacowania. Nie pokazuje też kosztu: dodatkowe zadanie i dodatkowy oceniający rzadko kosztują tyle samo. Krzywe G i Φ dla wielu planów i komponenty pojedynczej oceny pokazuje wpis Teoria generalizowalności – badania G i D.

Podpis do pracy:

Rysunek 1. Wariancja błędu średniego wyniku osoby w planach badania D o tej samej liczbie 12 ocen na osobę oraz przy jednej ocenie. Uwaga. Komponenty wariancji oszacowano w badaniu G (schemat p × r × t, 40 osób, 3 oceniających, 4 zadania; REML). p×r – interakcja osoba × oceniający; p×t – interakcja osoba × zadanie; e – reszta (p × r × t i błąd); r, t – główne efekty oceniających i zadań, wliczane tylko do błędu bezwzględnego (Φ).

Kod poniżej odtwarza dane i komponenty wariancji z przykładu, a potem liczy błąd względny i bezwzględny oraz G i Φ dla każdego planu. Rysunek na stronie różni się od wyniku kodu tylko motywem (czcionka, siatka).

Kod R rysunku 1
library(ggplot2)
suppressPackageStartupMessages(library(lme4))
kol <- c("osoba × oceniający" = "#E69F00", "osoba × zadanie" = "#0072B2",
         "reszta (p × r × t, błąd)" = "#56B4E9", "surowość oceniających, trudność zadań (tylko Φ)" = "grey75")  # Okabe–Ito
motyw <- theme_minimal(base_size = 13) + theme(legend.position = "bottom", panel.grid.minor = element_blank())
set.seed(3794)                                      # te same dane co w przykładzie powyżej
np <- 40; nr <- 3; nt <- 4
d <- expand.grid(p = factor(1:np), r = factor(1:nr), t = factor(1:nt))
efekt <- function(f, sd) rnorm(nlevels(f), sd = sd)[f]
d$wynik <- 50 + efekt(d$p, 6) + efekt(d$r, 2) + efekt(d$t, 3) +
  efekt(interaction(d$p, d$r), 2) + efekt(interaction(d$p, d$t), 4) +
  efekt(interaction(d$r, d$t), 1) + rnorm(nrow(d), sd = 3)
m <- lmer(wynik ~ 1 + (1 | p) + (1 | r) + (1 | t) + (1 | p:r) + (1 | p:t) + (1 | r:t), data = d)
vc <- as.data.frame(VarCorr(m)); s2 <- setNames(vc$vcov, vc$grp)
# plany badania D: pojedyncza ocena i sześć planów po 12 ocen na osobę
plany <- data.frame(n_r = c(1, 12, 6, 4, 3, 2, 1), n_t = c(1, 1, 2, 3, 4, 6, 12))
plany$plan <- sprintf("%d × %d", plany$n_r, plany$n_t)
plany$plan[c(1, 5)] <- c("1 × 1 (jedna ocena)", "3 × 4 (plan z przykładu)")
skl <- with(plany, data.frame(
  "osoba × oceniający" = s2["p:r"] / n_r, "osoba × zadanie" = s2["p:t"] / n_t,
  "reszta (p × r × t, błąd)" = s2["Residual"] / (n_r * n_t),
  "surowość oceniających, trudność zadań (tylko Φ)" = s2["r"] / n_r + s2["t"] / n_t + s2["r:t"] / (n_r * n_t),
  check.names = FALSE))
plany$bl_wzgl <- rowSums(skl[, 1:3]); plany$bl_abs <- rowSums(skl)
plany$G <- s2["p"] / (s2["p"] + plany$bl_wzgl); plany$Phi <- s2["p"] / (s2["p"] + plany$bl_abs)
tab <- cbind(plany[, c("n_r", "n_t")], round(skl, 2), round(plany[, c("bl_wzgl", "bl_abs")], 2), round(plany[, c("G", "Phi")], 3))
names(tab)[3:6] <- c("p_r", "p_t", "reszta", "tylko_Phi")
print(tab, row.names = FALSE)
round(s2["p"], 2)                                   # wariancja osób: licznik obu współczynników
bz <- function(x) sub("^0", "", sprintf("%.3f", x))
dl <- data.frame(plan = rep(plany$plan, 4), skladnik = rep(names(skl), each = nrow(plany)),
                 war = unlist(skl, use.names = FALSE))
dl$plan <- factor(dl$plan, rev(plany$plan)); dl$skladnik <- factor(dl$skladnik, rev(names(skl)))
dl$skrot <- c("p×r", "p×t", "e", "r, t")[match(dl$skladnik, names(skl))]
plany$opis <- sprintf("G = %s, Φ = %s", bz(plany$G), bz(plany$Phi))
p1 <- ggplot(dl, aes(war, plan)) +
  geom_col(aes(fill = skladnik), colour = "white", width = 0.7) +
  geom_text(aes(label = ifelse(war > 2.2, skrot, ""), colour = skrot == "p×t", group = skladnik),
            position = position_stack(vjust = 0.5), size = 3.4, show.legend = FALSE) +
  scale_colour_manual(values = c("FALSE" = "black", "TRUE" = "white"), guide = "none") +
  geom_text(data = plany, aes(x = bl_abs + 1, y = plan, label = opis), hjust = 0, size = 3.7) +
  scale_fill_manual(values = kol, breaks = names(kol), name = NULL) +
  scale_x_continuous(limits = c(0, 70), breaks = seq(0, 50, 10), expand = expansion(mult = c(0, 0))) +
  guides(fill = guide_legend(nrow = 2)) +
  labs(x = "wariancja błędu średniego wyniku osoby (w punktach skali²)", y = "oceniający × zadania",
       subtitle = sprintf("wariancja osób (licznik G i Φ) = %.1f", s2["p"])) + motyw
# print(p1)   # albo: ggsave("teoria-generalizowalnosci-plany-badania-d.svg", p1, width = 10, height = 5.2)
Wynik w R
 n_r n_t  p_r   p_t reszta tylko_Phi bl_wzgl bl_abs     G   Phi
   1   1 5.75 17.53   8.20     16.70   31.48  48.18 0.608 0.504
  12   1 0.48 17.53   0.68      9.31   18.69  28.01 0.723 0.636
   6   2 0.96  8.77   0.68      5.62   10.41  16.03 0.825 0.753
   4   3 1.44  5.84   0.68      4.80    7.96  12.77 0.860 0.793
   3   4 1.92  4.38   0.68      4.71    6.98  11.69 0.875 0.807
   2   6 2.88  2.92   0.68      5.24    6.48  11.72 0.883 0.807
   1  12 5.75  1.46   0.68      8.28    7.90  16.17 0.861 0.751
   p 
48.9 

Jak opisać w pracy

W badaniu G (schemat skrzyżowany p × r × t, 40 osób, 3 oceniających, 4 zadania; komponenty wariancji REML) wariancja osób stanowiła 50.4% wariancji całkowitej, a interakcja osoba × zadanie 18.1%. Współczynnik G wyniósł .875, a Φ = .807. W badaniu D zwiększenie liczby zadań do 8 podnosiło G bardziej niż dodanie oceniających.

Na co uważać

  • Mało poziomów fasety. Wariancję oceniających przy trzech osobach oceniających szacuje się bardzo niepewnie.
  • G czy Φ. Przy progach i normach podaj Φ; wynika z niej też błąd pomiaru dla decyzji bezwzględnych.
  • Schemat zagnieżdżony. Gdy każdy oceniający ocenia inne osoby, część komponentów się zlewa.

Pełne badanie G i D w R pokazuje wpis Teoria generalizowalności – badania G i D, a prostsze miary zgodności – Zgodność sędziów: kappa, ICC, alfa.

Przykład reprodukowalny

Teoria generalizowalności w R

Pakiet gtheory nie jest potrzebny: kod szacuje komponenty wariancji schematu skrzyżowanego modelem mieszanym w lme4, a współczynniki G i Φ dla różnych planów liczy ze wzorów.

Badanie G i D dla schematu osoba × oceniający × zadanie

Dane wejściowe: oceny symulowane (set.seed(3794)): 40 osób × 3 oceniających × 4 zadania, jedna ocena w każdej komórce.

Co odczytać: komponenty wariancji (p – osoby, r – oceniający, t – zadania, interakcje; Residual zawiera interakcję p × r × t i błąd), ich procent wariancji całkowitej oraz G i Φ dla 1–3 oceniających i 2–8 zadań.

R
suppressPackageStartupMessages(library(lme4))
set.seed(3794)
np <- 40; nr <- 3; nt <- 4                         # 40 osób × 3 oceniających × 4 zadania
d <- expand.grid(p = factor(1:np), r = factor(1:nr), t = factor(1:nt))
efekt <- function(f, sd) rnorm(nlevels(f), sd = sd)[f]
d$wynik <- 50 + efekt(d$p, 6) + efekt(d$r, 2) + efekt(d$t, 3) +
  efekt(interaction(d$p, d$r), 2) + efekt(interaction(d$p, d$t), 4) +
  efekt(interaction(d$r, d$t), 1) + rnorm(nrow(d), sd = 3)

m <- lmer(wynik ~ 1 + (1 | p) + (1 | r) + (1 | t) + (1 | p:r) + (1 | p:t) + (1 | r:t),
          data = d, REML = TRUE)
vc <- as.data.frame(VarCorr(m))
s2 <- setNames(vc$vcov, vc$grp)                     # komponenty wariancji
round(s2, 2)
round(100 * s2 / sum(s2), 1)                        # procent wariancji całkowitej

wsp <- function(n_r, n_t) {                         # badanie D: współczynniki G i Phi
  bl_wzgl <- s2["p:r"] / n_r + s2["p:t"] / n_t + s2["Residual"] / (n_r * n_t)
  bl_abs  <- bl_wzgl + s2["r"] / n_r + s2["t"] / n_t + s2["r:t"] / (n_r * n_t)
  c(G = unname(s2["p"] / (s2["p"] + bl_wzgl)), Phi = unname(s2["p"] / (s2["p"] + bl_abs)))
}
plan <- expand.grid(oceniajacy = c(1, 2, 3), zadania = c(2, 4, 8))
round(cbind(plan, t(mapply(wsp, plan$oceniajacy, plan$zadania))), 3)
Wynik w R
     p:t      p:r        p      r:t        t        r Residual
   17.53     5.75    48.90     0.55     8.64     7.51     8.20
     p:t      p:r        p      r:t        t        r Residual
    18.1      5.9     50.4      0.6      8.9      7.7      8.4
  oceniajacy zadania     G   Phi
1          1       2 0.724 0.614
2          2       2 0.781 0.691
3          3       2 0.802 0.721
4          1       4 0.801 0.690
5          2       4 0.855 0.774
6          3       4 0.875 0.807
7          1       8 0.845 0.735
8          2       8 0.898 0.824
9          3       8 0.917 0.859

Bibliografia oprogramowania

Wyniki i rysunek pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety lme4 i ggplot2). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0-1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze pytania

Czym współczynnik G różni się od współczynnika Φ?

G obejmuje tylko błędy zmieniające kolejność osób (interakcje z osobami), więc pasuje do porównań względnych. Φ dodaje główne efekty faset, np. to, że jeden oceniający jest surowszy od innych; jest niższy od G i właściwy przy progach zaliczenia.

Ile osób i oceniających potrzeba do badania G?

Nie ma jednej liczby, ale komponent fasety szacuje się z liczby jej poziomów. Przy 2–3 oceniających wariancja oceniających jest bardzo niepewna, więc w badaniu G lepiej mieć ich więcej niż w docelowym pomiarze, a w badaniu D wnioskować ostrożnie.

Jak policzyć teorię G w R bez pakietu gtheory?

Dopasuj lme4::lmer(wynik ~ 1 + (1|p) + (1|r) + (1|t) + (1|p:r) + (1|p:t) + (1|r:t)), odczytaj komponenty z VarCorr() i wstaw je do wzorów na G i Φ, dzieląc wariancje błędu przez planowaną liczbę oceniających i zadań.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Bloch, R., & Norman, G. (2012). Generalizability theory for the perplexed: A practical introduction and guide: AMEE Guide No. 68. Medical Teacher, 34(11), 960–992. https://doi.org/10.3109/0142159x.2012.703791
  2. Brennan, R. L. (2001). Generalizability theory. Springer. https://doi.org/10.1007/978-1-4757-3456-0
  3. Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: A primer. Sage.

Cytowania BibTeX

@article{bloch2012generalizability, author={Bloch, Ralph and Norman, Geoffrey}, title={{Generalizability theory for the perplexed: A practical introduction and guide: AMEE Guide No. 68}}, journal={Medical Teacher}, year={2012}, volume={34}, number={11}, pages={960--992}, doi={10.3109/0142159x.2012.703791}}
@book{brennan2001generalizability, author={Brennan, Robert L.}, title={{Generalizability theory}}, year={2001}, publisher={Springer}, doi={10.1007/978-1-4757-3456-0}}
@book{shavelson1991generalizability, author={Shavelson, Richard J. and Webb, Noreen M.}, title={{Generalizability theory: A primer}}, year={1991}, publisher={Sage}, url={https://openlibrary.org/isbn/9780803937451}}
R