Co to jest metoda Angoffa?
Metoda Angoffa (ang. Angoff method) to sposób ustalania progu zaliczenia testu na podstawie ocen ekspertów, a nie danych o wynikach. Każdy sędzia wyobraża sobie osobę minimalnie kompetentną, która ledwie zasługuje na zaliczenie, i dla każdej pozycji szacuje, z jakim prawdopodobieństwem odpowie ona poprawnie. Suma tych szacunków to próg sędziego, a średnia z progów wszystkich sędziów to punkt odcięcia testu. Metoda wywodzi się z pracy Angoffa z 1971 roku i ma wiele odmian, zwanych zmodyfikowaną metodą Angoffa (Ricker, 2006).
Hasło punkt odcięcia opisuje progi empiryczne, wyznaczane względem kryterium zewnętrznego z krzywej ROC. Metoda Angoffa jest sądowa: odpowiada na pytanie, ile trzeba umieć, a nie na pytanie, który wynik najlepiej odróżnia grupy.
Jak przebiega procedura
- Panel ekspertów uzgadnia opis osoby minimalnie kompetentnej.
- W pierwszej rundzie sędziowie niezależnie oceniają pozycje, zwykle w skali 0–1.
- Po dyskusji, czasem także po obejrzeniu danych o trudności pozycji z analizy pozycji, oceny się poprawia.
- Liczy się średni próg, jego rozrzut między sędziami i błąd standardowy.
Metaanaliza Hurtza i Auerbach (2003) wykazała, że wspólna definicja osoby minimalnie kompetentnej i dyskusja zwiększają zgodność sędziów, dyskusja podnosi zwykle próg, a pokazanie danych normatywnych go obniża.
Przykład
Dziesięciu sędziów oceniło 30 pozycji (dane symulowane). Po pierwszej rundzie średni próg wyniósł 20.27 punktu, SD progów sędziów 2.50, a błąd standardowy 0.79 (rozstęp 16.51–24.85). Po drugiej rundzie SD spadło do 1.25, a błąd standardowy do 0.40. Próg zaokrąglono w górę do 21 punktów.
Jak opisać w pracy
Na co uważać
- Szacunki sędziów zwykle porządkują pozycje podobnie jak ich empiryczna trudność, ale zbyt często od niej odbiegają (Brandon, 2004). Sprawdź korelację ocen z trudnością empiryczną.
- Raportuj zgodność sędziów, np. ICC, a nie tylko średni próg (zob. wpis Zgodność sędziów).
- Panel powinien znać treść i populację zdających; dobór ekspertów przypomina ocenę trafności treściowej.
- Próg ustalony dla jednej formy przenosi się na kolejne przez zrównywanie wyników, a nie przez powtarzanie panelu.
Metoda Angoffa w R
Kod symuluje oceny dziesięciu sędziów w dwóch rundach i liczy ręcznie próg każdego sędziego, średni punkt odcięcia, rozrzut progów i błąd standardowy.
Punkt odcięcia z ocen sędziów
R
# Metoda Angoffa: oceny sędziów -> punkt odcięcia (dane symulowane)
set.seed(657)
J <- 10; k <- 30 # 10 sędziów, test 30 pozycji 0/1
p_poz <- runif(k, 0.35, 0.90) # "prawdziwe" p dla osoby minimalnie kompetentnej
surowosc <- rnorm(J, 0, 0.08) # sędziowie różnią się surowością
r1 <- outer(surowosc, p_poz, "+") + matrix(rnorm(J * k, 0, 0.12), J)
r1[] <- pmin(0.95, pmax(0.05, r1)) # oceny w rundzie 1: wiersze = sędziowie, kolumny = pozycje
r2 <- 0.5 * r1 + 0.5 * matrix(colMeans(r1), J, k, byrow = TRUE) # runda 2: po dyskusji oceny zbliżają się do średniej
podsumuj <- function(r) {
prog_sedziow <- rowSums(r) # punkt odcięcia każdego sędziego
c(prog = mean(prog_sedziow), SD_sedziow = sd(prog_sedziow),
SE = sd(prog_sedziow) / sqrt(nrow(r)), min = min(prog_sedziow), max = max(prog_sedziow))
}
round(rbind(runda1 = podsumuj(r1), runda2 = podsumuj(r2)), 2)
round(ceiling(mean(rowSums(r2))), 0) # próg w punktach całkowitychWynik w R
prog SD_sedziow SE min max
runda1 20.27 2.50 0.79 16.51 24.85
runda2 20.27 1.25 0.40 18.39 22.56
[1] 21Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (tylko funkcje bazowe). W pracy podaj wersję R (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
Najczęstsze pytania
Ilu sędziów potrzeba w metodzie Angoffa?
Nie ma jednej liczby. Praktycznym kryterium jest błąd standardowy progu, czyli SD progów sędziów podzielone przez pierwiastek z ich liczby: panel powinien być na tyle duży, by ten błąd był mały w porównaniu z błędem pomiaru testu.
Czym metoda Angoffa różni się od wyznaczania progu z krzywej ROC?
Krzywa ROC wymaga kryterium zewnętrznego, np. diagnozy, i wybiera wynik najlepiej różnicujący grupy. Metoda Angoffa nie potrzebuje kryterium: próg wynika z eksperckiej definicji minimalnej kompetencji, więc stosuje się ją w egzaminach i testach osiągnięć.
Czy po dyskusji sędziów próg się zmienia?
Zwykle tak. W metaanalizie Hurtza i Auerbach (2003) dyskusja między rundami zwiększała zgodność sędziów i prowadziła do wyższych progów, a pokazanie danych normatywnych systematycznie je obniżało.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Próg dobrej wiedzy: metoda Angoffa
Jak ustalić próg wiedzy wystarczającej z panelem sędziów: osoba graniczna, dwie rundy, SE progu, grupy kontrastowe i gotowy opis do pracy.
Czytaj →PoradnikZgodność sędziów: kappa, ICC, alfa
Kappa Cohena i ważona, kappa Fleissa, formy ICC i alfa Krippendorffa na jednym przykładzie z trzema sędziami: wybór miary, paradoksy kappy i raport.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Brandon, P. R. (2004). Conclusions about frequently studied modified Angoff standard-setting topics. Applied Measurement in Education, 17(1), 59–88. https://doi.org/10.1207/s15324818ame1701_4
- Hurtz, G. M., & Auerbach, M. A. (2003). A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus. Educational and Psychological Measurement, 63(4), 584–601. https://doi.org/10.1177/0013164403251284
- Ricker, K. L. (2006). Setting cut-scores: A critical review of the Angoff and modified Angoff methods. Alberta Journal of Educational Research, 52(1), 53–64. https://doi.org/10.55016/ojs/ajer.v52i1.55111 ● Otwarty dostęp
Cytowania BibTeX
@article{brandon2004conclusions, author={Brandon, Paul R.}, title={{Conclusions about frequently studied modified Angoff standard-setting topics}}, journal={Applied Measurement in Education}, year={2004}, volume={17}, number={1}, pages={59--88}, doi={10.1207/s15324818ame1701_4}}@article{hurtz2003meta, author={Hurtz, Gregory M. and Auerbach, Meredith A.}, title={{A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus}}, journal={Educational and Psychological Measurement}, year={2003}, volume={63}, number={4}, pages={584--601}, doi={10.1177/0013164403251284}}@article{ricker2006setting, author={Ricker, Kathryn L.}, title={{Setting cut-scores: A critical review of the Angoff and modified Angoff methods}}, journal={Alberta Journal of Educational Research}, year={2006}, volume={52}, number={1}, pages={53--64}, doi={10.55016/ojs/ajer.v52i1.55111}}