Prace dyplomowe · Test wiedzy

Jak pisać pytania testowe i dystraktory – zasady, przykłady i analiza dystraktorów

Zasady pisania pytań jednokrotnego wyboru z przykładami „źle i lepiej” z pielęgniarstwa, liczba odpowiedzi do wyboru i analiza dystraktorów po pilotażu: odsetki w grupach skrajnych 27%, dystraktory niefunkcjonalne, korelacja wyboru z wynikiem i krzywe opcji – z kodem R i danymi do pobrania.

Strona główna / Blog / Pytania testowe i dystraktory
W skrócie: Dobre pytanie testowe ma jeden problem w trzonie, jedną obronną odpowiedź i dystraktory zbudowane z typowych błędów – podobne długością i formą do klucza. Zwykle wystarczą trzy odpowiedzi. Po pilotażu sprawdź każdy dystraktor: czy wybiera go co najmniej 5% osób, czy częściej wybiera go grupa dolna niż górna (po 27% badanych) i czy jego wybór ujemnie koreluje z wynikiem pozostałych pytań. Dystraktor z dodatnią korelacją to sygnał błędu w kluczu albo dwóch obronnych odpowiedzi.

Pytania testowe i dystraktory: dlaczego forma pytania zmienia wynik

Test wiedzy w pracy z pielęgniarstwa, położnictwa czy zdrowia publicznego składa się zwykle z kilkunastu pytań z jedną poprawną odpowiedzią i kilkoma błędnymi. Te błędne odpowiedzi to dystraktory. Jeśli są źle napisane, test mierzy nie tylko wiedzę, ale też spryt w rozpoznawaniu wskazówek: która odpowiedź jest najdłuższa, która pasuje gramatycznie, której nie da się obronić. Downing (2005) nazywa to wariancją niezwiązaną z konstruktem: wynik zależy od czegoś, czego test nie miał mierzyć, a to osłabia trafność wniosków.

W czterech egzaminach z nauk podstawowych dla studentów medycyny od 36 do 65% pytań łamało co najmniej jedną zasadę pisania pytań, a pytania wadliwe były o 0–15 punktów procentowych trudniejsze od poprawnych pytań o to samo (Downing, 2005). W dziesięciu testach zaliczeniowych na studiach pielęgniarskich wadliwe było 47.3% pytań; wady nie szkodziły osobom bliskim progu zaliczenia, za to częściej karały najlepszych studentów (Tarrant i Ware, 2008).

Jak zaplanować cały test – cel, tabelę specyfikacji, liczbę pytań, pilotaż – opisujemy we wpisie głównym serii: jak zbudować test wiedzy do pracy z pielęgniarstwa. Tutaj zajmujemy się pojedynczym pytaniem: jak je napisać i jak po pilotażu sprawdzić, czy każda błędna odpowiedź działa. Łatwości pytania i mocy różnicującej nie powtarzamy – są opisane w haśle analiza pozycji testu i w poradniku ankieta wiedzy – analiza krok po kroku.

Budowa pytania: trzon, klucz i dystraktory

Pytanie zamknięte z wyborem odpowiedzi ma trzy części:

  • trzon (ang. stem) – pytanie albo niedokończone zdanie, które stawia problem;
  • klucz – odpowiedź poprawna, zapisana w kluczu odpowiedzi;
  • dystraktory (ang. distractors) – odpowiedzi błędne, ale wiarygodne dla osoby, która nie ma potrzebnej wiedzy.

Klucz i dystraktory razem tworzą kafeterię odpowiedzi. W testach nazywa się je „pytaniami wielokrotnego wyboru” (ang. multiple choice), ale w ankietach ta sama nazwa oznacza pytanie „zaznacz wszystkie, które pasują”. To inny format, z innym kodowaniem – opisujemy go we wpisie o pytaniach wielokrotnego wyboru w ankiecie. Tu chodzi o pytania z jedną najlepszą odpowiedzią.

Dobry dystraktor nie jest „podchwytliwy”. Odpowiada typowemu błędowi albo błędnemu przekonaniu, więc wybierają go osoby bez wiedzy, a omijają osoby z wiedzą. Częsty wybór jednego dystraktora mówi więc, czego dotyczyć powinna edukacja.

Zasady pisania trzonu pytania

Zasad pisania pytań z wyborem odpowiedzi jest dużo: Haladyna i in. (2002) uporządkowali zalecenia z 27 podręczników pomiaru i 27 badań w taksonomię 31 zasad. Poniżej te, które w teście wiedzy do pracy dyplomowej najczęściej decydują o jakości pytania – to kanon powtarzany w podręcznikach pomiaru.

  1. Jeden problem w jednym pytaniu. Pytanie sprawdza jedną rzecz z tabeli specyfikacji testu. Trzon, który łączy dwie informacje, nie ma dobrej odpowiedzi dla osoby znającej tylko jedną.
  2. Zakryj odpowiedzi i sprawdź, czy da się odpowiedzieć. Dobry trzon zawiera całe pytanie. „Skala Bradena:” z czterema luźnymi zdaniami do wyboru to w praktyce cztery pytania prawda/fałsz.
  3. Bez zbędnej treści. Opis przypadku dawaj tylko wtedy, gdy jest potrzebny do odpowiedzi.
  4. Formułuj pozytywnie. Pytania z „nie” są trudniejsze z powodów językowych. Jeśli przeczenie jest konieczne, wyróżnij je („Który parametr NIE…”). Podwójnego przeczenia nie używaj nigdy.
  5. Prosty język i terminy znane badanym. W teście dla pacjentów zamień „hipoglikemia” na „za niski poziom cukru we krwi”, jeśli celem nie jest sprawdzenie znajomości terminu. Wywiad poznawczy w pilotażu pokaże, które słowa sprawiają kłopot (wywiad poznawczy krok po kroku).
  6. Bez sugestii. Trzon nie może podpowiadać odpowiedzi ani oceniać („Czy wiesz, że…”) – to klasyczne pytanie sugerujące.
  7. Jedna poprawna odpowiedź, co do której zgodzą się eksperci. Jeśli dwie odpowiedzi da się obronić, pytanie trzeba przepisać. Sprawdza to ocena ekspertów – patrz trafność treściowa testu: ocena ekspertów i CVI.

Zasady pisania odpowiedzi i dystraktorów

  1. Dystraktory z typowych błędów. Najlepsze źródło to błędne odpowiedzi prawdziwych osób: zadaj w pilotażu część pytań jako otwarte i zrób dystraktory z najczęstszych błędów. Warto się do tego przyłożyć: Gierl i in. (2017) zauważają w przeglądzie literatury, że tworzeniu dystraktorów poświęcono znacznie mniej uwagi niż innym zagadnieniom testów wyboru.
  2. Wszystkie odpowiedzi podobne w formie. Podobna długość i ten sam poziom szczegółowości. Poprawna odpowiedź nie może być najdłuższa ani jedyna „z zastrzeżeniem”.
  3. Zgodność gramatyczna z trzonem. Po polsku to szczególnie łatwy błąd: trzon kończy się na „służy do oceny:”, a tylko poprawna odpowiedź stoi w dopełniaczu.
  4. Bez „wszystkie powyższe”. Wystarczy rozpoznać dwie poprawne odpowiedzi, żeby wskazać tę opcję bez znajomości trzeciej. „Żadne z powyższych” stosuj ostrożnie: nie wiesz wtedy, czy osoba zna poprawną odpowiedź, czy tylko odrzuciła błędne.
  5. Bez słów absolutnych. „Zawsze”, „nigdy”, „wyłącznie” zdradzają dystraktor, bo w praktyce klinicznej prawie nic nie jest bezwarunkowe.
  6. Odpowiedzi rozłączne. Przedziały liczbowe nie mogą na siebie nachodzić („18–25” i „25–30”), a jedna odpowiedź nie może zawierać drugiej.
  7. Logiczna kolejność i różne pozycje klucza. Liczby ustaw rosnąco, a położenie poprawnej odpowiedzi rozłóż mniej więcej po równo między A, B, C i D, żeby pozycja niczego nie zdradzała. O tym, że samo miejsce odpowiedzi na liście może wpływać na wybór, przeczytasz w haśle efekt kolejności odpowiedzi.
  8. „Nie wiem” to nie dystraktor. Tę opcję (odpowiedź „nie wiem”) pokaż w analizie osobno; jak ją punktować, wyjaśnia wpis o punktowaniu testu wiedzy.

Pięć typowych błędów: przykłady źle i lepiej

Przykłady są celowo proste i dotyczą definicji oraz skal, a nie zaleceń terapeutycznych – treść Twojego testu musi wynikać z aktualnych wytycznych i podręczników dla danego obszaru, a jej poprawność potwierdzają eksperci.

Typowe błędy w pytaniach testowych: wersja wadliwa i poprawiona
BłądŹleLepiej
wskazówka gramatycznaSkala Glasgow (GCS) służy do oceny: A. stanu świadomości, B. natężenie bólu, C. ryzyko odleżynDo oceny czego służy skala Glasgow (GCS)? A. stanu świadomości, B. natężenia bólu, C. ryzyka odleżyn – wszystkie odpowiedzi w tym samym przypadku
najdłuższa odpowiedź poprawnaSkala Bradena służy do oceny: A. upadków, B. bólu, C. ryzyka odleżyn na podstawie sześciu czynników, m.in. percepcji czucia, wilgotności skóry i odżywianiaSkala Bradena służy do oceny ryzyka: A. upadków, B. odleżyn, C. niedożywienia – odpowiedzi tej samej długości i z tej samej dziedziny
„wszystkie powyższe”Co należy do podstawowych parametrów życiowych? A. tętno, B. częstość oddechów, C. ciśnienie tętnicze, D. wszystkie powyższeKtóry parametr podaje się w mmHg? A. ciśnienie tętnicze, B. tętno, C. częstość oddechów – albo pytanie „zaznacz wszystkie” punktowane według zasad z wpisu o punktowaniu
podwójne przeczenieKtóra odpowiedź nie jest nieprawidłowym opisem liczby 130 w zapisie 130/85 mmHg?W zapisie ciśnienia 130/85 mmHg liczba 130 oznacza: A. ciśnienie skurczowe, B. ciśnienie rozkurczowe, C. ciśnienie tętna
absurdalne dystraktory i słowa absolutneWynik w skali Glasgow wynosi: A. od 3 do 15 punktów, B. zawsze 100 punktów, C. nigdy mniej niż 50 punktówJaki jest zakres wyniku w skali Glasgow? A. 3–12, B. 0–15, C. 3–15 – dystraktory to typowe pomyłki (start od zera, inna górna granica), liczby w kolejności

W ostatnim przykładzie „0–15” wybierze ktoś, kto nie wie, że najniższy wynik to 3, a „3–12” – ktoś, kto pomylił górną granicę. Takie odpowiedzi mówią coś o niepełnej wiedzy; „zawsze 100 punktów” nie mówi nic.

Ile odpowiedzi do wyboru: trzy zamiast czterech?

Zwyczaj każe dawać cztery albo pięć odpowiedzi, a badania wskazują, że to zwykle za dużo. Haladyna i Downing (1993) w danych z trzech programów egzaminacyjnych rzadko znajdowali pytania z więcej niż trzema użytecznymi odpowiedziami. Metaanaliza Rodrigueza (2005), obejmująca 80 lat badań, prowadzi do wniosku, że trzy odpowiedzi są optymalne: w tym samym czasie badani rozwiążą więcej pytań, test lepiej pokryje treść, a właściwości psychometryczne wyników się nie pogorszą.

Studia pielęgniarskie nie są wyjątkiem. W 514 czteroodpowiedziowych pytaniach z testów przygotowanych przez nauczycieli pielęgniarstwa tylko 52.2% dystraktorów działało, a pytanie miało średnio 1.54 działającego dystraktora (Tarrant i in., 2009). Autorzy zalecają tyle odpowiedzi, ile da się napisać wiarygodnych – w większości przypadków trzy.

Praktyczna reguła: napisz tyle dystraktorów, ile masz sensownych typowych błędów, zwykle dwa. Pamiętaj tylko, że przy trzech odpowiedziach szansa trafienia przez zgadywanie wynosi 1/3, a przy czterech 1/4 – jak to uwzględnić w wyniku, opisujemy we wpisie o punktowaniu.

Analiza dystraktorów po pilotażu: co policzyć

Po badaniu pilotażowym masz dla każdego pytania surowe odpowiedzi (A, B, C, D), a nie tylko punkty 0/1. Właśnie z nich zrobisz analizę dystraktorów. Dla każdej opcji każdego pytania policz cztery rzeczy:

  1. Odsetek wyboru w całej próbie. Dystraktor, który wybiera mniej niż 5% osób, nazywa się niefunkcjonalnym – nikogo nie „łapie”, więc niczego nie mierzy. Taki próg (mniej niż 5% wyborów) przyjęli Tarrant i in. (2009).
  2. Odsetek wyboru w grupie dolnej i górnej. Grupy to po 27% osób z najniższym i najwyższym wynikiem testu – podział, który uzasadnił Kelley (1939). Dobry dystraktor częściej wybierają osoby z grupy dolnej.
  3. Korelację wyboru z wynikiem testu. Zakoduj wybór danej opcji jako 1, pozostałe jako 0 i policz korelację punktowo-dwuseryjną z wynikiem pozostałych pytań (bez pytania, które analizujesz). Dla klucza ma być dodatnia, dla dystraktora – ujemna. Dystraktor z korelacją dodatnią przyciąga lepszych i Tarrant i in. (2009) także zaliczają go do niefunkcjonalnych; my nazywamy go „podejrzanym”, bo często oznacza dwie obronne odpowiedzi albo błąd w kluczu.
  4. Krzywe opcji. Podziel badanych na 4–5 grup według wyniku i narysuj, jaki odsetek w każdej grupie wybrał każdą opcję. Krzywa klucza powinna rosnąć, krzywe dystraktorów – opadać.

Modele teorii reagowania na pozycje testowe (IRT) potrafią opisać wybór każdej opcji, ale w pracy dyplomowej wystarczą odsetki i korelacje.

Przykład: 12 pytań, 160 studentów pielęgniarstwa

Test wiedzy z 12 pytań z czterema odpowiedziami (A–D) rozwiązało 160 studentów pielęgniarstwa. Dane są symulowane: każde pytanie ma inny „charakter” – większość działa poprawnie, ale kilka ma typowe wady. Klucz rozłożono równo: po trzy poprawne odpowiedzi na każdej pozycji A, B, C i D. Średni wynik wyniósł 6.06 punktu na 12 (SD = 3.62), a grupy skrajne liczyły po 43 osoby. Liczby pochodzą z kodu na końcu wpisu; dane: test-wiedzy-odpowiedzi-abcd.csv (160 osób, kolumny P1–P12 z literami odpowiedzi).

Analiza dystraktorów w sześciu pytaniach
PytanieOpcjaWszyscyGrupa dolnaGrupa górnar z resztą testuOcena
P1B (klucz)57.5%14.0%95.3%.57klucz
A / C / D16.9% / 15.0% / 10.6%39.5% / 25.6% / 20.9%2.3% / 2.3% / 0.0%−.36 / −.25 / −.20trzy działają
P3D1.3%0.0%2.3%.01niefunkcjonalny
P5A39.4%81.4%4.7%−.55działa
B / C0.6% / 0.6%2.3% / 2.3%0.0% / 0.0%−.08 / −.08niefunkcjonalne
P7C (klucz)28.7%4.7%55.8%.36klucz
B25.6%11.6%34.9%.26podejrzany
P10A (klucz)30.0%4.7%74.4%.58klucz
B50.6%74.4%11.6%−.45działa (najczęstszy wybór)
D11.9%14.0%14.0%−.06działa, ale prawie nie różnicuje
P12C (klucz)86.2%62.8%100.0%.35klucz
A / B / D4.4% / 5.0% / 4.4%14.0% / 16.3% / 7.0%0.0% / 0.0% / 0.0%−.27 / −.23 / −.08dwa niefunkcjonalne
  • P1 – tak powinno wyglądać pytanie. Każdy dystraktor wybiera ponad 10% osób, wyraźnie częściej w grupie dolnej, i każdy ma ujemną korelację z resztą testu.
  • P3 – jeden dystraktor niefunkcjonalny. Odpowiedź D wybrały 2 osoby na 160 (1.3%). Pytanie działa jak pytanie z trzema odpowiedziami; D zastąp lepszym błędem albo usuń.
  • P5 – w praktyce pytanie z dwiema odpowiedziami. B i C wybrała po jednej osobie. Zostaje wybór między kluczem a A, czyli szansa zgadnięcia bliska 50%, a nie 25%. Działający dystraktor A jest za to bardzo dobry: wybrało go 81.4% grupy dolnej i 4.7% górnej.
  • P7 – dystraktor, który przyciąga najlepszych. Odpowiedź B wybrało 34.9% grupy górnej i tylko 11.6% dolnej, a korelacja z resztą testu jest dodatnia (r = .26). Na rysunku 1 widać, że w czwartej grupie wyników B (43.75%) wybierano częściej niż klucz (34.38%). Tak wygląda pytanie z dwiema obronnymi odpowiedziami albo z błędem w kluczu.
  • P10 – popularny dystraktor to nie wada. Odpowiedź B wybrała połowa badanych (50.6%), więcej niż klucz (30.0%). Ale wybierały ją głównie osoby słabsze (74.4% grupy dolnej, 11.6% górnej), a korelacja jest wyraźnie ujemna (−.45). To dystraktor oparty na rozpowszechnionym błędnym przekonaniu – cenna informacja do dyskusji. Inaczej dystraktor D: wybiera go 14.0% w obu grupach skrajnych (r = −.06). Formalnie działa, ale prawie nie różnicuje.
  • P12 – łatwe pytanie, z natury mało błędnych wyborów. Poprawnie odpowiedziało 86.2% osób, więc na dystraktory zostało mniej niż 14% wyborów. A i D spadły poniżej 5% (po 4.4%), B jest dokładnie na progu (5.0%, czyli 8 osób). Tu niefunkcjonalne dystraktory są skutkiem łatwości, nie złego pisania.
Cztery panele z krzywymi opcji w pięciu grupach wyniku testu: w P1 klucz B rośnie od 15.6% do 93.8%, a trzy dystraktory opadają; w P5 dystraktory B i C są bliskie 0% we wszystkich grupach; w P7 dystraktor B rośnie do 43.8% w czwartej grupie; w P10 dystraktor B opada od 75.0% do 6.3%, a klucz A rośnie do 87.5%
Rysunek 1. Krzywe opcji dla czterech pytań. Oś pozioma: pięć grup po 32 osoby według wyniku testu. Czerwona linia – klucz, niebieskie – dystraktory. Klucz powinien rosnąć, a dystraktory opadać; dystraktor B w P7 tego nie robi. Obliczenia: R (dane symulowane).

Rysunek 2 zbiera wszystkie 36 dystraktorów na jednej mapie. Działające leżą w prawej dolnej części: wybiera je co najmniej 5% osób i mają ujemną korelację z resztą testu. W szarym pasie po lewej są niefunkcjonalne, a nad poziomą linią zera – podejrzane. W naszym teście działało 30 z 36 dystraktorów (83.3%), średnio 2.5 na pytanie; osiem pytań miało trzy działające dystraktory, dwa – dwa (P3, P7) i dwa – jeden (P5, P12).

Wykres rozrzutu 36 dystraktorów: oś pozioma odsetek wyboru od 0 do 55%, oś pionowa korelacja z resztą testu od −.6 do .4; pięć niefunkcjonalnych dystraktorów (P3 D, P5 B, P5 C, P12 A, P12 D) w szarym pasie poniżej 5%, jeden podejrzany (P7 B, 25.6%, r = .26) nad linią zera, pozostałe 30 z ujemną korelacją
Rysunek 2. Mapa dystraktorów: odsetek wyboru i korelacja wyboru z wynikiem pozostałych pytań. Przerywana linia – próg 5%. Najbardziej „pracowite” dystraktory (P5 A, P10 B) leżą w prawym dolnym rogu. Obliczenia: R (dane symulowane).

Ile osób potrzeba do analizy dystraktorów

Pilotaż w pracy dyplomowej bywa mały – kilkadziesiąt osób. Do sprawdzenia zrozumiałości pytań to wystarczy, do analizy dystraktorów – zwykle nie. Próg 5% przy 30 osobach to różnica między jedną a dwiema osobami, a grupa skrajna 27% liczy 8 osób. Rachunek z rozkładu dwumianowego pokazuje skalę problemu:

Błędna ocena dystraktora przy progu 5% a liczebność próby
nGrupa skrajna 27%Dystraktor wybierany naprawdę przez 8% wygląda na niefunkcjonalnyDystraktor wybierany naprawdę przez 2% wygląda na działający
308.296.121
6016.132.119
10027.090.051
16043.053.016
30081.016.001

Przy 30 osobach prawie co trzeci przyzwoity dystraktor (8% wyborów w populacji) wypadnie poniżej 5%. Ten sam odsetek z próby jest też bardzo niepewny: 2 wybory na 30 osób to 6.7%, 95% CI [1.8, 21.3], a 11 na 160 to 6.9%, 95% CI [3.9, 11.9] (przedział Wilsona – zob. przedział ufności dla proporcji). W małym pilotażu traktuj więc analizę dystraktorów jako wskazówkę, a nie wyrok; pełną analizę zrób na danych z badania głównego.

Co zrobić z wynikami: poprawić, usunąć, zostawić

Decyzje po analizie dystraktorów
Co widziszMożliwa przyczynaCo zrobić
dystraktor < 5%odpowiedź absurdalna albo pytanie bardzo łatwezastąp typowym błędem z pilotażu albo usuń (pytanie z trzema odpowiedziami jest w porządku)
dystraktor z dodatnią korelacjądwie obronne odpowiedzi, błąd w kluczu, niejasny trzonsprawdź klucz, pokaż pytanie ekspertom, przepisz; nie zmieniaj klucza tylko dlatego, że „tak wyszło w danych”
dystraktor wybierany po równo w obu grupachodpowiedź zgadywana losowo albo niezrozumiałaprzeczytaj ją z kilkoma osobami z grupy docelowej (wywiad poznawczy)
dystraktor częstszy niż klucz, ale z ujemną korelacjąrozpowszechnione błędne przekonaniezostaw; opisz w wynikach jako lukę w wiedzy
prawie wszyscy wybierają kluczpytanie o podstawy, bardzo łatwezostaw, jeśli tak miało być według tabeli specyfikacji; inaczej utrudnij dystraktory

Po każdej zmianie przelicz wynik testu i rzetelność (KR-20). Decyzję uzasadnij treścią pytania, a nie tylko liczbą; zmiany po badaniu głównym opisz w pracy. Jaki wynik oznacza „dobrą wiedzę”, wyjaśnia wpis o progu dobrej wiedzy i metodzie Angoffa.

Jak opisać pisanie pytań i analizę dystraktorów w pracy

W rozdziale metodologicznym opisz, jak powstały pytania i jak je sprawdzano. Wzór dla autorskiego testu:

Test wiedzy składał się z 12 pytań jednokrotnego wyboru z czterema odpowiedziami, z których jedna była poprawna. Pytania napisano zgodnie z zasadami konstrukcji pytań zamkniętych (Haladyna i in., 2002): każde pytanie dotyczyło jednego zagadnienia z tabeli specyfikacji, trzon formułowano pozytywnie, odpowiedzi miały podobną długość i formę gramatyczną, nie stosowano odpowiedzi „wszystkie powyższe”, a poprawne odpowiedzi rozmieszczono równomiernie (po trzy na pozycjach A–D). Dystraktory przygotowano na podstawie typowych błędów. Po zebraniu danych przeprowadzono analizę dystraktorów: dla każdej odpowiedzi obliczono odsetek wyboru w całej próbie oraz w grupach 27% osób z najniższym i najwyższym wynikiem, a także korelację wyboru z wynikiem pozostałych pytań. Dystraktor uznawano za niefunkcjonalny, gdy wybierało go mniej niż 5% osób (Tarrant i in., 2009).

W wynikach (albo w podrozdziale o właściwościach narzędzia) podaj liczby z analizy:

Spośród 36 dystraktorów 30 (83.3%) było funkcjonalnych; pytania miały średnio 2.5 funkcjonalnego dystraktora. Pięć dystraktorów (w pytaniach 3, 5 i 12) zostało wybranych przez mniej niż 5% badanych, a jeden (pytanie 7, odpowiedź B) częściej wybierały osoby z grupy o najwyższym wyniku niż z grupy o najniższym (34.9% wobec 11.6%; r = .26 z wynikiem pozostałych pytań). Po ponownym sprawdzeniu klucza i konsultacji z ekspertami pytanie 7 przeformułowano. W pytaniu 10 najczęściej wybierano błędną odpowiedź B (50.6% badanych, w tym 74.4% osób z grupy o najniższym wyniku), co wskazuje na rozpowszechnione błędne przekonanie.

Zdanie o przeformułowaniu pytania 7 to przykład – wpisz to, co naprawdę zrobiłeś(-aś). Jeśli przy analizie albo opisie potrzebujesz kogoś, kto sprawdzi obliczenia i wyjaśni wyniki, zobacz pomoc w analizie dla studentów.

Najczęstsze błędy

  • Dystraktory „dla żartu”. Odpowiedź, której nikt nie wybierze, zamienia pytanie z czterema odpowiedziami w pytanie z trzema albo dwiema – i zwiększa szansę zgadnięcia.
  • Poprawna odpowiedź najdłuższa i najdokładniejsza. Autor pilnuje, żeby klucz był bezbłędny, i dopisuje zastrzeżenia, a dystraktory zostawia krótkie.
  • Usuwanie pytania po pilotażu na 30 osobach. Przy tak małej próbie jedna osoba zmienia ocenę dystraktora.
  • Zmiana klucza „pod dane”. Dodatnia korelacja dystraktora to sygnał do sprawdzenia, a nie dowód, że to on jest poprawny.
  • W bazie tylko punkty 0/1. Bez liter odpowiedzi nie zrobisz analizy dystraktorów – zapisuj literę, a punkty licz z klucza.
Przykład reprodukowalny

Analiza dystraktorów w R: kod i wynik

Pierwszy przepis tworzy dane przykładu (160 osób, 12 pytań A–D), zapisuje je w pliku CSV w folderze nadrzędnym (../), punktuje test według klucza i dla każdej odpowiedzi liczy odsetek wyboru w całej próbie i w grupach skrajnych 27% oraz korelację wyboru z wynikiem pozostałych pytań. Jeśli masz własne dane, wczytaj je read.csv() do macierzy odp z literami odpowiedzi, wpisz swój klucz i uruchom kod od części 2. Drugi przepis liczy tabelę o liczebności próby z rozkładu dwumianowego. Rysunki powstały w osobnym skrypcie na tych samych danych. Dane przykładu: test-wiedzy-odpowiedzi-abcd.csv.

Analiza dystraktorów: odsetki, grupy skrajne 27% i korelacja z resztą testu

Dane wejściowe: odpowiedzi 160 studentów na 12 pytań z opcjami A–D (dane symulowane, set.seed(420)), klucz odpowiedzi; tylko bazowy R.

Co odczytać: średni wynik testu, liczbę osób w grupach skrajnych, tabelę opcji dla pytań P1, P3, P5, P7, P10 i P12 (kolumny proc, dolna, gorna, r_reszta, ocena) oraz podsumowanie działających dystraktorów.

R
# B420 – analiza dystraktorów w teście wiedzy (dane symulowane)
# 160 studentów pielęgniarstwa, 12 pytań jednokrotnego wyboru z opcjami A–D.
# Uruchomienie: LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript b420-1-analiza-dystraktorow.R > b420-1-analiza-dystraktorow-wynik.txt

# 1. Dane symulowane: model odpowiedzi nominalnych – im większa wiedza (theta),
#    tym częściej poprawna odpowiedź; każdy dystraktor ma własną „atrakcyjność”.
set.seed(420)
N <- 160
theta <- rnorm(N)
klucz <- c(P1 = "B", P2 = "D", P3 = "A", P4 = "C", P5 = "D", P6 = "A",
           P7 = "C", P8 = "B", P9 = "D", P10 = "A", P11 = "B", P12 = "C")
# Parametry: nachylenie (a) i wyraz wolny (c) dla klucza i trzech dystraktorów
typowe <- list(a = c(1.5, -0.5, -0.5, -0.5), c = c(1.3, 0.0, -0.3, -0.6))
param <- rep(list(typowe), 12); names(param) <- names(klucz)
param$P2  <- list(a = c(1.3, -0.4, -0.6, -0.4), c = c(0.6, 0.1, -0.2, -0.4))
param$P3  <- list(a = c(1.5, -0.5, -0.5, -0.5), c = c(1.2, 0.2, -0.2, -3.5))   # jeden dystraktor „dla nikogo”
param$P5  <- list(a = c(1.5, -0.5, -0.5, -0.5), c = c(1.0, 0.3, -3.5, -3.8))   # dwa dystraktory „dla nikogo”
param$P7  <- list(a = c(1.2, -0.6, 1.0, -0.6), c = c(0.4, -0.4, 0.3, -0.5))    # dystraktor częściowo poprawny
param$P9  <- list(a = c(1.6, -0.4, -0.6, -0.7), c = c(0.4, 0.1, 0.0, -0.3))
param$P10 <- list(a = c(1.6, -1.1, -0.6, -0.6), c = c(0.2, 0.9, -0.4, -0.6)) # błędne przekonanie
param$P12 <- list(a = c(1.4, -0.5, -0.5, -0.5), c = c(4.0, 0.2, 0.0, -0.3))   # bardzo łatwe pytanie
opcje <- c("A", "B", "C", "D")
odp <- sapply(names(klucz), function(j) {
  kolej <- c(klucz[j], setdiff(opcje, klucz[j]))   # klucz, potem dystraktory w kolejności liter
  eta <- outer(theta, param[[j]]$a) + matrix(param[[j]]$c, N, 4, byrow = TRUE)
  pr <- exp(eta) / rowSums(exp(eta))
  apply(pr, 1, function(p) sample(kolej, 1, prob = p))
})
dane <- data.frame(id = 1:N, odp)
write.csv(dane, "../test-wiedzy-odpowiedzi-abcd.csv", row.names = FALSE)

# 2. Punktacja i wynik testu
pkt <- sweep(odp, 2, klucz, "==") * 1
wynik <- rowSums(pkt)
cat("Wynik testu (0-12): M =", round(mean(wynik), 2), " SD =", round(sd(wynik), 2), "\n")
cat("Klucz – liczba poprawnych odpowiedzi na każdej pozycji A-D:\n"); print(table(klucz))

# 3. Analiza dystraktorów: odsetki w całej próbie i w grupach skrajnych 27%,
#    korelacja wyboru opcji z wynikiem pozostałych pytań (reszta testu)
n27 <- round(0.27 * N)
kolejnosc <- order(wynik, decreasing = TRUE)        # remisy na granicy: kolejność wierszy
gorna <- kolejnosc[1:n27]; dolna <- rev(kolejnosc)[1:n27]
analiza_opcji <- function(j) {
  reszta <- wynik - pkt[, j]
  do.call(rbind, lapply(opcje, function(k) {
    wybor <- as.numeric(odp[, j] == k)
    r <- if (sd(wybor) > 0) cor(wybor, reszta) else NA
    data.frame(pytanie = j, opcja = k, klucz = k == klucz[j],
               proc = 100 * mean(wybor), dolna = 100 * mean(wybor[dolna]),
               gorna = 100 * mean(wybor[gorna]), r_reszta = r)
  }))
}
tab <- do.call(rbind, lapply(names(klucz), analiza_opcji))
tab$ocena <- ifelse(tab$klucz, "klucz",
              ifelse(tab$proc < 5 - 1e-9, "niefunkcjonalny (<5%)",
              ifelse(tab$r_reszta >= 0, "podejrzany (r >= 0)", "działa")))
cat("\nGrupy skrajne po 27%:", n27, "osób\n")
cat("\nANALIZA OPCJI – wybrane pytania (odsetki w %)\n")
pokaz <- tab[tab$pytanie %in% c("P1", "P3", "P5", "P7", "P10", "P12"), ]
pokaz[, 4:6] <- round(pokaz[, 4:6], 1); pokaz$r_reszta <- round(pokaz$r_reszta, 2)
print(pokaz[, c("pytanie", "opcja", "klucz", "proc", "dolna", "gorna", "r_reszta", "ocena")], row.names = FALSE)

# 4. Podsumowanie dla wszystkich 12 pytań
dys <- tab[!tab$klucz, ]
podsum <- data.frame(
  pytanie = names(klucz),
  latwosc = round(100 * colMeans(pkt), 1),
  dzialajace = sapply(names(klucz), function(j) sum(dys$pytanie == j & dys$ocena == "działa")),
  niefunkcjonalne = sapply(names(klucz), function(j) sum(dys$pytanie == j & dys$ocena == "niefunkcjonalny (<5%)")),
  podejrzane = sapply(names(klucz), function(j) sum(dys$pytanie == j & dys$ocena == "podejrzany (r >= 0)")))
cat("\nPODSUMOWANIE: liczba dystraktorów według oceny\n")
print(podsum, row.names = FALSE)
cat("\nDystraktory działające:", sum(dys$ocena == "działa"), "z", nrow(dys),
    sprintf("(%.1f%%)", 100 * mean(dys$ocena == "działa")), "\n")
cat("Średnio działających dystraktorów na pytanie:", round(mean(podsum$dzialajace), 2), "\n")
cat("Pytania z 0, 1, 2, 3 działającymi dystraktorami:\n"); print(table(factor(podsum$dzialajace, levels = 0:3)))
write.csv(tab, "b420-tabela-opcji.csv", row.names = FALSE)
Wynik w R
Wynik testu (0-12): M = 6.06  SD = 3.62 
Klucz – liczba poprawnych odpowiedzi na każdej pozycji A-D:
klucz
A B C D 
3 3 3 3 

Grupy skrajne po 27%: 43 osób

ANALIZA OPCJI – wybrane pytania (odsetki w %)
 pytanie opcja klucz proc dolna gorna r_reszta                 ocena
      P1     A FALSE 16.9  39.5   2.3    -0.36                działa
      P1     B  TRUE 57.5  14.0  95.3     0.57                 klucz
      P1     C FALSE 15.0  25.6   2.3    -0.25                działa
      P1     D FALSE 10.6  20.9   0.0    -0.20                działa
      P3     A  TRUE 49.4   7.0  83.7     0.54                 klucz
      P3     B FALSE 27.5  46.5   9.3    -0.30                działa
      P3     C FALSE 21.9  46.5   4.7    -0.33                działa
      P3     D FALSE  1.3   0.0   2.3     0.01 niefunkcjonalny (<5%)
      P5     A FALSE 39.4  81.4   4.7    -0.55                działa
      P5     B FALSE  0.6   2.3   0.0    -0.08 niefunkcjonalny (<5%)
      P5     C FALSE  0.6   2.3   0.0    -0.08 niefunkcjonalny (<5%)
      P5     D  TRUE 59.4  14.0  95.3     0.57                 klucz
      P7     A FALSE 18.8  37.2   2.3    -0.31                działa
      P7     B FALSE 25.6  11.6  34.9     0.26   podejrzany (r >= 0)
      P7     C  TRUE 28.7   4.7  55.8     0.36                 klucz
      P7     D FALSE 26.9  46.5   7.0    -0.35                działa
     P10     A  TRUE 30.0   4.7  74.4     0.58                 klucz
     P10     B FALSE 50.6  74.4  11.6    -0.45                działa
     P10     C FALSE  7.5   7.0   0.0    -0.08                działa
     P10     D FALSE 11.9  14.0  14.0    -0.06                działa
     P12     A FALSE  4.4  14.0   0.0    -0.27 niefunkcjonalny (<5%)
     P12     B FALSE  5.0  16.3   0.0    -0.23                działa
     P12     C  TRUE 86.2  62.8 100.0     0.35                 klucz
     P12     D FALSE  4.4   7.0   0.0    -0.08 niefunkcjonalny (<5%)

PODSUMOWANIE: liczba dystraktorów według oceny
 pytanie latwosc dzialajace niefunkcjonalne podejrzane
      P1    57.5          3               0          0
      P2    36.2          3               0          0
      P3    49.4          2               1          0
      P4    54.4          3               0          0
      P5    59.4          1               2          0
      P6    53.8          3               0          0
      P7    28.7          2               0          1
      P8    51.2          3               0          0
      P9    40.6          3               0          0
     P10    30.0          3               0          0
     P11    58.1          3               0          0
     P12    86.2          1               2          0

Dystraktory działające: 30 z 36 (83.3%) 
Średnio działających dystraktorów na pytanie: 2.5 
Pytania z 0, 1, 2, 3 działającymi dystraktorami:

0 1 2 3 
0 2 2 8 

Czy próg 5% da się ocenić w małej próbie?

Dane wejściowe: liczebności 30–300 osób, prawdziwy odsetek wyboru dystraktora 8% albo 2%; rozkład dwumianowy i przedział Wilsona z bazowego R.

Co odczytać: prawdopodobieństwo, że dobry dystraktor wypadnie poniżej 5%, a słaby powyżej; przedziały ufności dla 2/30 i 11/160.

R
# B420 – czy próg 5% da się ocenić w małym pilotażu? (rozkład dwumianowy, bez losowania)
# Uruchomienie: LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript b420-2-ile-osob.R > b420-2-ile-osob-wynik.txt
n <- c(30, 60, 100, 160, 300)
# Liczba wyborów poniżej progu 5%: mniej niż 0.05 * n osób
prog <- ceiling(0.05 * n) - 1                       # największa liczba wyborów, która daje < 5%
tab <- data.frame(
  n = n,
  grupa_27 = round(0.27 * n),                       # liczebność grupy dolnej i górnej
  P_wyglada_na_martwy_gdy_8 = round(pbinom(prog, n, 0.08), 3),   # prawdziwy odsetek 8%
  P_wyglada_na_dzialajacy_gdy_2 = round(1 - pbinom(prog, n, 0.02), 3))  # prawdziwy odsetek 2%
print(tab, row.names = FALSE)
# 95% przedział Wilsona dla 2 wyborów na 30 osób (6.7%) i 11 wyborów na 160 osób (6.9%)
wilson <- function(x, n) round(100 * prop.test(x, n, correct = FALSE)$conf.int[1:2], 1)
cat("2/30:", round(100 * 2 / 30, 1), "% , 95% CI", wilson(2, 30), "\n")
cat("11/160:", round(100 * 11 / 160, 1), "% , 95% CI", wilson(11, 160), "\n")
Wynik w R
   n grupa_27 P_wyglada_na_martwy_gdy_8 P_wyglada_na_dzialajacy_gdy_2
  30        8                     0.296                         0.121
  60       16                     0.132                         0.119
 100       27                     0.090                         0.051
 160       43                     0.053                         0.016
 300       81                     0.016                         0.001
2/30: 6.7 % , 95% CI 1.8 21.3 
11/160: 6.9 % , 95% CI 3.9 11.9 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów stats i utils); rysunki przygotowano w pakietach ggplot2, ggrepel i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. ggrepel (wersja 0.9.8): Slowikowski, K. (2026). ggrepel: Automatically position non-overlapping text labels with 'ggplot2' [R package]. https://doi.org/10.32614/CRAN.package.ggrepel
  4. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Przed pilotażem sprawdź każde pytanie

  • Czy pytanie dotyczy jednego zagadnienia z tabeli specyfikacji?
  • Czy da się na nie odpowiedzieć po zakryciu odpowiedzi?
  • Czy trzon jest pozytywny, a odpowiedzi pasują do niego gramatycznie i mają podobną długość?
  • Czy każdy dystraktor to typowy błąd, który ktoś naprawdę mógłby popełnić?
  • Czy nie ma „wszystkie powyższe”, słów „zawsze” i „nigdy” ani nachodzących na siebie przedziałów?
  • Czy eksperci zgadzają się co do klucza, a poprawne odpowiedzi są rozłożone równo między pozycje?
  • Czy baza danych zapisze literę odpowiedzi, a nie tylko punkt?

Najczęstsze pytania

Co to jest dystraktor w pytaniu testowym?

Dystraktor to błędna odpowiedź w pytaniu zamkniętym, która ma wyglądać wiarygodnie dla osoby bez potrzebnej wiedzy. Dobry dystraktor opiera się na typowym błędzie albo błędnym przekonaniu, więc częściej wybierają go osoby o niższym wyniku testu. Odpowiedź, której nikt nie wybiera, niczego nie mierzy i tylko wydłuża pytanie.

Ile odpowiedzi do wyboru powinno mieć pytanie testowe?

Zwykle trzy: poprawną i dwa dobre dystraktory. Metaanaliza Rodrigueza (2005) wskazuje, że przy trzech odpowiedziach można w tym samym czasie zadać więcej pytań bez pogorszenia właściwości wyników, a w testach na studiach pielęgniarskich pytania z czterema odpowiedziami miały średnio tylko 1.54 działającego dystraktora (Tarrant i in., 2009). Kolejną odpowiedź dodawaj tylko wtedy, gdy masz następny wiarygodny błąd.

Kiedy dystraktor jest niefunkcjonalny?

Najczęściej wtedy, gdy wybiera go mniej niż 5% badanych; Tarrant i in. (2009) zaliczali do niefunkcjonalnych także dystraktory częściej wybierane przez osoby z wyższym wynikiem. W małej próbie ta ocena jest niepewna: przy 30 osobach dystraktor wybierany naprawdę przez 8% ludzi wypadnie poniżej progu 5% z prawdopodobieństwem .296.

Dlaczego w teście nie stosować odpowiedzi „wszystkie powyższe”?

Bo podpowiada: wystarczy rozpoznać dwie poprawne odpowiedzi, żeby wybrać „wszystkie powyższe” bez znajomości trzeciej. Jeśli kilka odpowiedzi jest poprawnych, zapytaj o jedną najlepszą albo użyj formatu „zaznacz wszystkie, które pasują” i punktuj każdą opcję osobno, jak opisujemy we wpisie o punktowaniu testu wiedzy.

Co oznacza dodatnia korelacja dystraktora z wynikiem testu?

Że ten błędny wybór częściej robią osoby z wyższym wynikiem. Najczęstsze przyczyny to dwie obronne odpowiedzi, niejasny trzon albo błąd w kluczu. Sprawdź klucz, pokaż pytanie ekspertom i przepisz je – nie zmieniaj klucza tylko dlatego, że tak wyszło w danych.

Powiązane hasła

Przeczytaj też

Budujesz test wiedzy do pracy i nie wiesz, czy pytania działają?

Przejrzymy z Tobą analizę pytań i dystraktorów po pilotażu, policzymy rzetelność w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: The consequences of using flawed test items on achievement examinations in medical education. Advances in Health Sciences Education, 10(2), 133–143. https://doi.org/10.1007/s10459-004-4019-5
  2. Gierl, M. J., Bulut, O., Guo, Q., & Zhang, X. (2017). Developing, analyzing, and using distractors for multiple-choice tests in education: A comprehensive review. Review of Educational Research, 87(6), 1082–1116. https://doi.org/10.3102/0034654317726529
  3. Haladyna, T. M., & Downing, S. M. (1993). How many options is enough for a multiple-choice test item? Educational and Psychological Measurement, 53(4), 999–1010. https://doi.org/10.1177/0013164493053004013
  4. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333. https://doi.org/10.1207/s15324818ame1503_5
  5. Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24. https://doi.org/10.1037/h0057123
  6. Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3–13. https://doi.org/10.1111/j.1745-3992.2005.00006.x
  7. Tarrant, M., & Ware, J. (2008). Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments. Medical Education, 42(2), 198–206. https://doi.org/10.1111/j.1365-2923.2007.02957.x
  8. Tarrant, M., Ware, J., & Mohammed, A. M. (2009). An assessment of functioning and non-functioning distractors in multiple-choice questions: A descriptive analysis. BMC Medical Education, 9(1), Article 40. https://doi.org/10.1186/1472-6920-9-40 ● Otwarty dostęp

Cytowania BibTeX

@article{downing2005effects, author={Downing, Steven M.}, title={{The effects of violating standard item writing principles on tests and students: The consequences of using flawed test items on achievement examinations in medical education}}, journal={Advances in Health Sciences Education}, year={2005}, volume={10}, number={2}, pages={133--143}, doi={10.1007/s10459-004-4019-5}}
@article{gierl2017developing, author={Gierl, Mark J. and Bulut, Okan and Guo, Qi and Zhang, Xinxin}, title={{Developing, analyzing, and using distractors for multiple-choice tests in education: A comprehensive review}}, journal={Review of Educational Research}, year={2017}, volume={87}, number={6}, pages={1082--1116}, doi={10.3102/0034654317726529}}
@article{haladyna1993how, author={Haladyna, Thomas M. and Downing, Steven M.}, title={{How many options is enough for a multiple-choice test item?}}, journal={Educational and Psychological Measurement}, year={1993}, volume={53}, number={4}, pages={999--1010}, doi={10.1177/0013164493053004013}}
@article{haladyna2002review, author={Haladyna, Thomas M. and Downing, Steven M. and Rodriguez, Michael C.}, title={{A review of multiple-choice item-writing guidelines for classroom assessment}}, journal={Applied Measurement in Education}, year={2002}, volume={15}, number={3}, pages={309--333}, doi={10.1207/s15324818ame1503_5}}
@article{kelley1939selection, author={Kelley, Truman L.}, title={{The selection of upper and lower groups for the validation of test items}}, journal={Journal of Educational Psychology}, year={1939}, volume={30}, number={1}, pages={17--24}, doi={10.1037/h0057123}}
@article{rodriguez2005three, author={Rodriguez, Michael C.}, title={{Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research}}, journal={Educational Measurement: Issues and Practice}, year={2005}, volume={24}, number={2}, pages={3--13}, doi={10.1111/j.1745-3992.2005.00006.x}}
@article{tarrant2008impact, author={Tarrant, Marie and Ware, James}, title={{Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments}}, journal={Medical Education}, year={2008}, volume={42}, number={2}, pages={198--206}, doi={10.1111/j.1365-2923.2007.02957.x}}
@article{tarrant2009assessment, author={Tarrant, Marie and Ware, James and Mohammed, Ahmed M.}, title={{An assessment of functioning and non-functioning distractors in multiple-choice questions: A descriptive analysis}}, journal={BMC Medical Education}, year={2009}, volume={9}, number={1}, eid={40}, doi={10.1186/1472-6920-9-40}}
R