Słownik metodologiczny · Pomiar i skale

Metoda Angoffa – jak eksperci ustalają próg zaliczenia testu?

Metoda Angoffa ustala próg zaliczenia testu na podstawie ocen sędziów: każdy szacuje, jak często osoba minimalnie kompetentna odpowie poprawnie na pozycję. Pokazujemy procedurę w rundach, obliczenie progu i jego błędu w R oraz różnicę wobec progów z krzywej ROC.

Strona główna / Słownik / Metoda Angoffa
W skrócie: Metoda Angoffa ustala próg zaliczenia testu z ocen ekspertów. Każdy sędzia szacuje dla każdej pozycji prawdopodobieństwo poprawnej odpowiedzi osoby minimalnie kompetentnej; suma szacunków to jego próg, a średnia progów – punkt odcięcia. Dyskusja między rundami zwiększa zgodność sędziów.

Co to jest metoda Angoffa?

Metoda Angoffa (ang. Angoff method) to sposób ustalania progu zaliczenia testu na podstawie ocen ekspertów, a nie danych o wynikach. Każdy sędzia wyobraża sobie osobę minimalnie kompetentną, która ledwie zasługuje na zaliczenie, i dla każdej pozycji szacuje, z jakim prawdopodobieństwem odpowie ona poprawnie. Suma tych szacunków to próg sędziego, a średnia z progów wszystkich sędziów to punkt odcięcia testu. Metoda wywodzi się z pracy Angoffa z 1971 roku i ma wiele odmian, zwanych zmodyfikowaną metodą Angoffa (Ricker, 2006).

Hasło punkt odcięcia opisuje progi empiryczne, wyznaczane względem kryterium zewnętrznego z krzywej ROC. Metoda Angoffa jest sądowa: odpowiada na pytanie, ile trzeba umieć, a nie na pytanie, który wynik najlepiej odróżnia grupy.

Jak przebiega procedura

  1. Panel ekspertów uzgadnia opis osoby minimalnie kompetentnej.
  2. W pierwszej rundzie sędziowie niezależnie oceniają pozycje, zwykle w skali 0–1.
  3. Po dyskusji, czasem także po obejrzeniu danych o trudności pozycji z analizy pozycji, oceny się poprawia.
  4. Liczy się średni próg, jego rozrzut między sędziami i błąd standardowy.

Metaanaliza Hurtza i Auerbach (2003) wykazała, że wspólna definicja osoby minimalnie kompetentnej i dyskusja zwiększają zgodność sędziów, dyskusja podnosi zwykle próg, a pokazanie danych normatywnych go obniża.

Przykład

Dziesięciu sędziów oceniło 30 pozycji (dane symulowane). Po pierwszej rundzie średni próg wyniósł 20.27 punktu, SD progów sędziów 2.50, a błąd standardowy 0.79 (rozstęp 16.51–24.85). Po drugiej rundzie SD spadło do 1.25, a błąd standardowy do 0.40. Próg zaokrąglono w górę do 21 punktów.

Jak opisać w pracy

Próg zaliczenia ustalono zmodyfikowaną metodą Angoffa. Dziesięciu sędziów w dwóch rundach oszacowało dla 30 pozycji prawdopodobieństwo poprawnej odpowiedzi osoby minimalnie kompetentnej. Średni próg po drugiej rundzie wyniósł 20.27 punktu (SD = 1.25, SE = 0.40); przyjęto próg 21 punktów.

Na co uważać

  • Szacunki sędziów zwykle porządkują pozycje podobnie jak ich empiryczna trudność, ale zbyt często od niej odbiegają (Brandon, 2004). Sprawdź korelację ocen z trudnością empiryczną.
  • Raportuj zgodność sędziów, np. ICC, a nie tylko średni próg (zob. wpis Zgodność sędziów).
  • Panel powinien znać treść i populację zdających; dobór ekspertów przypomina ocenę trafności treściowej.
  • Próg ustalony dla jednej formy przenosi się na kolejne przez zrównywanie wyników, a nie przez powtarzanie panelu.
Przykład reprodukowalny

Metoda Angoffa w R

Kod symuluje oceny dziesięciu sędziów w dwóch rundach i liczy ręcznie próg każdego sędziego, średni punkt odcięcia, rozrzut progów i błąd standardowy.

Punkt odcięcia z ocen sędziów

Dane wejściowe: macierz ocen 10 sędziów × 30 pozycji (prawdopodobieństwa 0.05–0.95); sędziowie różnią się surowością, a w rundzie 2 oceny zbliżają się do średniej panelu (dane symulowane, set.seed(657)).

Co odczytać: prog = 20.27 w obu rundach, SD_sedziow 2.50 → 1.25 i SE 0.79 → 0.40; próg w punktach całkowitych = 21.

R
# Metoda Angoffa: oceny sędziów -> punkt odcięcia (dane symulowane)
set.seed(657)
J <- 10; k <- 30                                          # 10 sędziów, test 30 pozycji 0/1
p_poz <- runif(k, 0.35, 0.90)                             # "prawdziwe" p dla osoby minimalnie kompetentnej
surowosc <- rnorm(J, 0, 0.08)                             # sędziowie różnią się surowością
r1 <- outer(surowosc, p_poz, "+") + matrix(rnorm(J * k, 0, 0.12), J)
r1[] <- pmin(0.95, pmax(0.05, r1))                       # oceny w rundzie 1: wiersze = sędziowie, kolumny = pozycje
r2 <- 0.5 * r1 + 0.5 * matrix(colMeans(r1), J, k, byrow = TRUE)  # runda 2: po dyskusji oceny zbliżają się do średniej
podsumuj <- function(r) {
  prog_sedziow <- rowSums(r)                              # punkt odcięcia każdego sędziego
  c(prog = mean(prog_sedziow), SD_sedziow = sd(prog_sedziow),
    SE = sd(prog_sedziow) / sqrt(nrow(r)), min = min(prog_sedziow), max = max(prog_sedziow))
}
round(rbind(runda1 = podsumuj(r1), runda2 = podsumuj(r2)), 2)
round(ceiling(mean(rowSums(r2))), 0)                      # próg w punktach całkowitych
Wynik w R
        prog SD_sedziow   SE   min   max
runda1 20.27       2.50 0.79 16.51 24.85
runda2 20.27       1.25 0.40 18.39 22.56
[1] 21

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (tylko funkcje bazowe). W pracy podaj wersję R (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Najczęstsze pytania

Ilu sędziów potrzeba w metodzie Angoffa?

Nie ma jednej liczby. Praktycznym kryterium jest błąd standardowy progu, czyli SD progów sędziów podzielone przez pierwiastek z ich liczby: panel powinien być na tyle duży, by ten błąd był mały w porównaniu z błędem pomiaru testu.

Czym metoda Angoffa różni się od wyznaczania progu z krzywej ROC?

Krzywa ROC wymaga kryterium zewnętrznego, np. diagnozy, i wybiera wynik najlepiej różnicujący grupy. Metoda Angoffa nie potrzebuje kryterium: próg wynika z eksperckiej definicji minimalnej kompetencji, więc stosuje się ją w egzaminach i testach osiągnięć.

Czy po dyskusji sędziów próg się zmienia?

Zwykle tak. W metaanalizie Hurtza i Auerbach (2003) dyskusja między rundami zwiększała zgodność sędziów i prowadziła do wyższych progów, a pokazanie danych normatywnych systematycznie je obniżało.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Brandon, P. R. (2004). Conclusions about frequently studied modified Angoff standard-setting topics. Applied Measurement in Education, 17(1), 59–88. https://doi.org/10.1207/s15324818ame1701_4
  2. Hurtz, G. M., & Auerbach, M. A. (2003). A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus. Educational and Psychological Measurement, 63(4), 584–601. https://doi.org/10.1177/0013164403251284
  3. Ricker, K. L. (2006). Setting cut-scores: A critical review of the Angoff and modified Angoff methods. Alberta Journal of Educational Research, 52(1), 53–64. https://doi.org/10.55016/ojs/ajer.v52i1.55111 ● Otwarty dostęp

Cytowania BibTeX

@article{brandon2004conclusions, author={Brandon, Paul R.}, title={{Conclusions about frequently studied modified Angoff standard-setting topics}}, journal={Applied Measurement in Education}, year={2004}, volume={17}, number={1}, pages={59--88}, doi={10.1207/s15324818ame1701_4}}
@article{hurtz2003meta, author={Hurtz, Gregory M. and Auerbach, Meredith A.}, title={{A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus}}, journal={Educational and Psychological Measurement}, year={2003}, volume={63}, number={4}, pages={584--601}, doi={10.1177/0013164403251284}}
@article{ricker2006setting, author={Ricker, Kathryn L.}, title={{Setting cut-scores: A critical review of the Angoff and modified Angoff methods}}, journal={Alberta Journal of Educational Research}, year={2006}, volume={52}, number={1}, pages={53--64}, doi={10.55016/ojs/ajer.v52i1.55111}}
R