Prace dyplomowe · Test wiedzy

Punktowanie testu wiedzy: „nie wiem”, zgadywanie i kilka poprawnych odpowiedzi

Ile punktów dać za „nie wiem”, czy odejmować punkty za błędne odpowiedzi, od jakiego wyniku test prawda/fałsz mierzy coś więcej niż szczęście i jak punktować pytanie z kilkoma poprawnymi odpowiedziami – sprawdzamy na symulacji, w której wiadomo, co każdy student naprawdę wie.

Strona główna / Blog / Punktowanie testu wiedzy
W skrócie: W teście wiedzy daj 1 punkt za odpowiedź zgodną z kluczem, a 0 za błędną i za „nie wiem” – nie traktuj „nie wiem” jak braku danych. Poprawka na zgadywanie (R − W/(k − 1)) wyrównuje szanse osób ostrożnych i zgadujących, ale wymaga uprzedzenia respondentów. W teście prawda/fałsz połowę punktów daje samo zgadywanie: przy 20 pytaniach dopiero 15 poprawnych odpowiedzi jest istotnie lepsze od przypadku. Pytania z kilkoma poprawnymi odpowiedziami punktuj częściowo z karą za błędne zaznaczenia – w symulacji dało to wyższą rzetelność niż reguła „wszystko albo nic” (α = .73 wobec .66).

Te same odpowiedzi, różne wyniki

Test wiedzy w pracy z pielęgniarstwa czy zdrowia publicznego wygląda niewinnie: kilkanaście pytań, klucz, suma punktów. Zanim jednak policzysz pierwszą średnią, musisz podjąć kilka decyzji. Ile punktów dać za „nie wiem”? Czy karać za zgadywanie? Co zrobić z pytaniem, w którym poprawne są dwie odpowiedzi, a ktoś zaznaczył jedną? Każda z tych decyzji zmienia wynik – czasem o kilka punktów, czasem tak, że osoba ostrożna i osoba zgadująca zamieniają się miejscami.

Domyślną regułę – 1 punkt za odpowiedź zgodną z kluczem, 0 za błędną i za „nie wiem” – podajemy w poradniku ankieta wiedzy – analiza krok po kroku razem z opisem wyniku, KR-20 i porównaniami grup. Tu sprawdzamy, dlaczego ta reguła jest rozsądna, kiedy warto ją zmienić i jak punktować formaty, które sprawiają najwięcej kłopotu: prawda/fałsz i pytania z kilkoma poprawnymi odpowiedziami. Jak zaplanować cały test – od obszarów treści po pilotaż – opisujemy we wpisie jak zbudować test wiedzy.

Przykład (dane symulowane). 160 studentów pielęgniarstwa rozwiązało test z 20 pytań jednokrotnego wyboru (A–D i „nie wiem”) oraz 8 pytań „zaznacz wszystkie poprawne” (pięć opcji, w każdym dwie lub trzy poprawne). Treść pytań pomijamy – to wpis o punktowaniu, nie o medycynie. Symulacja ma jedną przewagę nad prawdziwym badaniem: wiemy, które pytania każda osoba naprawdę zna, a które zgadła. Możemy więc sprawdzić, który sposób punktowania najlepiej oddaje wiedzę. Dane do pobrania: punktowanie-testu-wiedzy-dane.csv (odpowiedzi na 20 pytań, klucz jest w wyniku kodu) i punktowanie-pytania-kilka-poprawnych.csv (zaznaczenia w jednej komórce, tak jak w eksporcie z formularza online). Wszystkie liczby pochodzą z kodu w sekcji Przykład w R.

Reguła 1/0: punkt za poprawną odpowiedź, zero za resztę

Najprostsza i najczęstsza reguła to liczba poprawnych odpowiedzi (ang. number-right scoring). Każdą odpowiedź porównujesz z kluczem odpowiedzi i zamieniasz na 1 albo 0, a suma to wynik surowy. Ma trzy zalety: jest zrozumiała dla promotora i czytelnika, pasuje do współczynnika KR-20 (Kuder i Richardson, 1937), który zakłada pozycje 0/1, i nie wymaga od respondentów żadnej strategii. Budescu i Bar-Hillel (1993), analizując punktowanie testów z perspektywy teorii decyzji, rekomendują właśnie ją: zniechęca do pomijania pytań i jest odporna na to, że ludzie różnią się motywacją i oceną własnej niepewności.

Wadę ma jedną: nagradza zgadywanie. Przy czterech opcjach strzał na ślepo daje średnio 0.25 punktu, a „nie wiem” – zero. Problem zaczyna się wtedy, gdy jedni zgadują, a inni uczciwie zaznaczają „nie wiem”.

„Nie wiem”: zero czy brak danych?

Opcja „nie wiem” w kafeterii testu wiedzy ma sens: zmniejsza liczbę strzałów i daje osobną informację o lukach w wiedzy. Luskin i Bullock (2011) pokazali, że gdy zniechęca się respondentów do tej odpowiedzi, przybywa poprawnych odpowiedzi w pytaniach zamkniętych, ale w większości pozornie – dzięki zgadywaniu. Jak jednak liczyć tę odpowiedź? Są dwie drogi:

  • „Nie wiem” = 0 punktów. Wynik to liczba poprawnych odpowiedzi na wszystkie pytania.
  • „Nie wiem” = brak danych. Wynik to odsetek poprawnych odpowiedzi wśród pytań, na które osoba odpowiedziała merytorycznie.

Druga droga kusi, bo przypomina zasadę z pytań o opinie, gdzie odpowiedź „nie wiem” zamienia się na brak danych. W teście wiedzy prowadzi jednak do absurdu. W przykładzie „nie wiem” stanowiło 25.0% wszystkich odpowiedzi, a tylko 13 ze 160 osób ani razu go nie wybrało. Weźmy dwie osoby, które znają dokładnie po 10 pytań:

Wynik dwóch osób o tej samej wiedzy przy trzech sposobach punktowania
OsobaZna pytańPoprawneBłędne„Nie wiem”Wynik 1/0% z udzielonychZ poprawką R − W/3
ostrożna (nr 1)101001010100.0%10.00
zgadująca (nr 59)1012621266.7%10.00

Osoba ostrożna odpowiedziała tylko na to, co wiedziała, a na resztę zaznaczyła „nie wiem”. Gdy potraktujesz „nie wiem” jak brak, dostaje 100% – jak najlepszy student w grupie – choć zna połowę materiału. W całej grupie korelacja wyniku z liczbą naprawdę znanych pytań wyniosła .82 dla odsetka z udzielonych odpowiedzi i .95 dla reguły 1/0.

Jest też koszt dla rzetelności. Przy „nie wiem” = 0 KR-20 wyniósł .81 dla wszystkich 160 osób. Jeśli „nie wiem” to brak, a program liczy rzetelność tylko na kompletnych wierszach (tak robi domyślnie wiele procedur), zostaje 13 osób bez żadnego „nie wiem” – z wynikiem średnio 17.46 punktu wobec 11.46 w całej grupie. Otrzymane KR-20 = .74 opisuje więc wąską grupę najlepszych, a nie Twoją próbę. Takie braki nie są losowe (zob. braki danych MCAR, MAR, MNAR), bo zależą właśnie od wiedzy.

Wniosek: w teście wiedzy „nie wiem” to 0 punktów. Odsetek „nie wiem” pokaż osobno przy analizie pozycji testu, bo odróżnia lukę w wiedzy od błędnego przekonania. Brakiem danych zostaje tylko puste pole – i dla niego ustal regułę przed analizą (ile pominiętych pytań wyklucza osobę), jak w kroku 1 poradnika o ankiecie wiedzy.

Zgadywanie i poprawka na zgadywanie

Wróćmy do tabeli. Przy regule 1/0 osoba zgadująca ma 12 punktów, ostrożna – 10, choć wiedzą tyle samo. Zgadująca trafiła 2 z 8 strzałów, czyli mniej więcej tyle, ile daje rachunek prawdopodobieństwa. W całej grupie wynik 1/0 przewyższał liczbę znanych pytań średnio o 1.23 punktu, a ta nadwyżka korelowała ze skłonnością do zgadywania, r = .50. Część różnic między osobami to więc różnice w skłonności do ryzyka, a nie w wiedzy (rysunek 1).

Klasyczną odpowiedzią jest poprawka na zgadywanie (ang. formula scoring):

wynik = R − W / (k − 1)

gdzie R to liczba poprawnych odpowiedzi, W – liczba błędnych (bez „nie wiem” i pustych), a k – liczba opcji w pytaniu. Przy czterech opcjach każda błędna odpowiedź odejmuje 1/3 punktu. Strzał na ślepo daje wtedy średnio zero: 1/4 szansy na +1 i 3/4 szansy na −1/3. W przykładzie obie osoby z tabeli mają po 10.00 punktu, średnia nadwyżka nad liczbą znanych pytań spadła z 1.23 do 0.04, a jej korelacja ze skłonnością do zgadywania – z .50 do .18. Korelacja wyniku z wiedzą wzrosła z .95 do .97.

Trzy wykresy rozrzutu wyniku testu względem liczby pytań, które osoba naprawdę zna: przy regule 1/0 osoby zgadujące leżą nad przekątną (r = .95), przy odsetku z udzielonych odpowiedzi osoby ostrożne mają wyniki zawyżone nawet do 100% (r = .82), a z poprawką R − W/3 punkty skupiają się wokół przekątnej (r = .97)
Rysunek 1. Wynik testu (20 pytań, % maksimum) a liczba pytań, które osoba naprawdę zna, przy trzech sposobach punktowania. Przerywana linia to wynik równy wiedzy. Czerwone punkty – osoby, które częściej zgadują, niebieskie – osoby, które częściej wybierają „nie wiem”. Obliczenia: R (dane symulowane).

Dlaczego więc nie stosować poprawki zawsze? Frary (1988) zwraca uwagę, że działa ona uczciwie tylko z właściwą instrukcją: badani mają pomijać pytanie wyłącznie wtedy, gdy zgadywaliby zupełnie na ślepo. Kto odrzuci choć jedną opcję, powinien odpowiadać, a osoby z częściową wiedzą, które mimo to pomijają pytania, zwykle tracą punkty. Autor uznaje taką punktację za nieodpowiednią dla większości testów w nauczaniu. Budescu i Bar-Hillel (1993) dodają, że racjonalnemu badanemu odpowiedź nigdy się nie opłaca mniej niż pominięcie, a ludziom, którzy nie liczą wartości oczekiwanej, trudno dać dobrą instrukcję. Burton (2005) omawia z kolei dwanaście błędnych lub wątpliwych przekonań o wpływie długości testu, zgadywania i punktów ujemnych na rzetelność; część z nich wzięła się z danych ze źle napisanych testów.

W przykładzie poprawka nie zwiększyła też rzetelności: α = .80 wobec KR-20 = .81 przy regule 1/0. Każdy strzał ma przy niej większy rozrzut punktów (+1 albo −1/3 zamiast +1 albo 0), co zjada część zysku.

Co z tego wynika dla pracy dyplomowej? W ankiecie wiedzy pacjentów albo studentów, w której nikt niczego nie zalicza, zostań przy regule 1/0 z „nie wiem” = 0 i instrukcją: „jeśli nie znasz odpowiedzi, zaznacz »nie wiem«”. Nie wprowadzaj punktów ujemnych po fakcie, jeśli respondenci nie wiedzieli o nich, wypełniając test – reguła punktowania i instrukcja muszą do siebie pasować. Jeśli zależy Ci na sprawdzeniu, czy zgadywanie zmienia wnioski, policz wynik z poprawką jako analizę dodatkową i napisz, czy wyniki się różnią. W modelach teorii reagowania na pozycje testowe (IRT) zgadywanie można modelować wprost osobnym parametrem pozycji, ale w pracy licencjackiej to zwykle za dużo.

Prawda/fałsz: połowa punktów to jeszcze nie wiedza

W pytaniach prawda/fałsz strzał daje 50% szans. Test z 20 takich pytań rozwiązany rzutami monetą da średnio 10 punktów, a 95% wyników zgadującego mieści się między 6 a 14 punktami. Liczba trafień przy samym zgadywaniu ma rozkład dwumianowy, więc łatwo policzyć, od jakiego wyniku osoba odpowiada istotnie lepiej niż przypadkowo (test jednostronny, α = .05). Przy 20 pytaniach to 15 punktów: szansa, że zgadujący uzyska co najmniej 15, wynosi .021, a co najmniej 14 – .058.

Wynik oczekiwany przy zgadywaniu i najmniejszy wynik istotnie lepszy od zgadywania dla testów prawda/fałsz i z czterema opcjami
Liczba pytańP/F: średnio przy zgadywaniuP/F: istotnie lepiej odA–D: średnio przy zgadywaniuA–D: istotnie lepiej od
1059 (90.0%)2.56 (60.0%)
201015 (75.0%)59 (45.0%)
301520 (66.7%)7.513 (43.3%)
402026 (65.0%)1016 (40.0%)

Tabela pokazuje dwie rzeczy. Po pierwsze, w krótkim teście prawda/fałsz nawet 70% poprawnych odpowiedzi nie odróżnia osoby od zgadującej. Osoba z wynikiem 14/20 ma 70.0% poprawnych odpowiedzi, ale 95% przedział ufności dla proporcji (Cloppera–Pearsona) to [45.7%, 88.1%] i obejmuje 50%; jednostronne p = .058. Po drugie, im dłuższy test, tym bliżej poziomu przypadku leży próg – dłuższy test lepiej oddziela wiedzę od szczęścia.

Dwa wykresy słupkowe rozkładu dwumianowego liczby trafień przy samym zgadywaniu w teście z 20 pytań: dla pytań prawda/fałsz średnio 10 punktów, wynik co najmniej 15 zaznaczony na czerwono jako istotnie lepszy od zgadywania; dla pytań z czterema opcjami średnio 5 punktów, próg 9 punktów
Rysunek 2. Rozkład liczby poprawnych odpowiedzi osoby, która tylko zgaduje, w teście z 20 pytań. Linia przerywana – wynik oczekiwany, czerwone słupki – wyniki, których prawdopodobieństwo przy zgadywaniu jest mniejsze niż .05. Obliczenia: R (rozkład dwumianowy).

Jeśli chcesz porównać wynik prawda/fałsz z wynikiem z pytań A–D albo z innym badaniem, przelicz go na wynik skorygowany o zgadywanie:

wynik skorygowany = (p − 1/k) / (1 − 1/k)

gdzie p to odsetek poprawnych odpowiedzi, a k – liczba opcji. Dla 70% w teście prawda/fałsz: (70% − 50%) / (100% − 50%) = 40%. To ważne przy progach: „co najmniej 60% poprawnych” w teście prawda/fałsz oznacza coś zupełnie innego niż w teście z czterema opcjami. Dlaczego progi typu 60% są umowne i jak ustalić je metodą sędziów, wyjaśnia wpis próg dobrej wiedzy – metoda Angoffa.

Pytania z kilkoma poprawnymi odpowiedziami

Pytanie „zaznacz wszystkie poprawne odpowiedzi” wygląda podobnie do pytania wielokrotnego wyboru w ankiecie („z jakich źródeł czerpiesz wiedzę?”), ale liczy się je inaczej. W ankiecie nie ma dobrych odpowiedzi – każdą opcję zamieniasz na zmienną 0/1 i podajesz odsetek osób, które ją zaznaczyły (zob. pytania wielokrotnego wyboru w ankiecie – jak zakodować i policzyć). W teście jest klucz, a z zaznaczeń trzeba zrobić punkty za całe pytanie. Rozbicie komórki z eksportu („A, C, D”) na opcje jest w obu przypadkach takie samo.

Najczęściej spotkasz trzy reguły (c to liczba poprawnych opcji w pytaniu):

  • Wszystko albo nic. 1 punkt tylko za dokładnie poprawny zestaw, inaczej 0.
  • Punkty częściowe z karą. +1/c za każdą zaznaczoną poprawną opcję, −1/c za każdą zaznaczoną błędną, wynik pytania nie mniejszy niż 0.
  • Każda opcja jak prawda/fałsz. Odsetek opcji ocenionych trafnie: zaznaczonych poprawnych i niezaznaczonych błędnych.
Punkty za pytanie z poprawnymi odpowiedziami A i C przy trzech regułach
Zaznaczono (poprawne: A, C)Wszystko albo nicCzęściowe z karąOpcje jak prawda/fałsz
A, C11.01.0
A00.50.8
A, C, D00.50.8
A, B, C, D, E00.00.4
(nic)00.00.6
B, D00.00.2

Już ta mała tabela pokazuje pułapkę trzeciej reguły: osoba, która nie zaznaczyła niczego, dostaje 0.6 punktu, więcej niż za zaznaczenie wszystkiego. Kara w regule częściowej sprawia z kolei, że „zaznacz wszystko na wszelki wypadek” się nie opłaca.

W przykładzie te same odpowiedzi 160 studentów na 8 pytań dały trzy różne obrazy wiedzy:

Wynik, rzetelność i wynik bez wiedzy przy trzech regułach punktowania pytań z kilkoma poprawnymi odpowiedziami
RegułaM (% maks.)SDαr z wiedząLosowe zaznaczanieZaznacza wszystkoNie zaznacza nic
wszystko albo nic22.822.6.66.773.1%0.0%0.0%
częściowe z karą45.921.7.73.8615.8%12.5%0.0%
opcje jak prawda/fałsz72.712.6.76.8650.0%47.5%52.5%

Reguła „wszystko albo nic” jest najsurowsza (średnio 22.8% maksimum) i wyrzuca informację o częściowej wiedzy: osoba, która zaznaczyła dwie z trzech poprawnych opcji, dostaje tyle samo co ktoś, kto nie trafił żadnej. Dlatego ma najniższą rzetelność (α = .66). Reguła częściowa z karą podniosła rzetelność do α = .73 i korelację z prawdziwą wiedzą z .77 do .86. To nie efekt jednego losowania: w 200 powtórzeniach symulacji średnia α wyniosła .68 dla reguły „wszystko albo nic” i .76 dla reguły częściowej, a reguła częściowa wygrała w 100.0% powtórzeń. Podobny wynik w danych studentów nauk o zdrowiu i medycyny, dla pytań typu wielokrotne prawda/fałsz, opisali Albanese i Sabers (1988): sposoby punktowania uwzględniające częściową wiedzę były rzetelniejsze i trafniejsze niż sposoby ograniczające szansę trafienia przypadkiem. Tsai i Suen (1993) nie znaleźli jednak istotnych różnic w rzetelności między sześcioma metodami punktowania takich pytań – metody różniły się za to średnimi, co trzeba uwzględnić przy ustalaniu progu zaliczenia.

Reguła „opcje jak prawda/fałsz” ma podobną rzetelność (α = .76), ale wysoki poziom przypadku: losowe zaznaczanie daje 50.0% maksimum, a pusta odpowiedź – 52.5%. Średnie 72.7% wygląda więc dobrze tylko na pierwszy rzut oka. Schmidt i in. (2021) w przeglądzie metod punktowania takich pytań podkreślają, że nie ma zgody co do najlepszej metody, a metody różnią się właśnie oczekiwanym wynikiem przy losowym zgadywaniu. Kanzow i in. (2023) zastosowali 41 reguł do tych samych odpowiedzi egzaminacyjnych i otrzymali wyniki od 0.02 do 0.98. Przy takiej rozpiętości od reguły może zależeć, czy wynik przekroczy próg.

Wykres punktowy dla trzech reguł punktowania 8 pytań z kilkoma poprawnymi odpowiedziami: średni wynik studentów 22.8%, 45.9% i 72.7% maksimum; losowe zaznaczanie daje 3.1%, 15.8% i 50.0%; rzetelność alfa .66, .73 i .76
Rysunek 3. Wynik w 8 pytaniach „zaznacz wszystkie poprawne” (% maksimum) przy trzech regułach: średnia 160 studentów oraz wynik osoby, która zaznacza losowo, zaznacza wszystko albo nie zaznacza nic. Po prawej rzetelność α. Obliczenia: R (dane symulowane).

Praktyczne zalecenia:

  • Wybierz regułę częściową z karą i dolną granicą 0, chyba że pytanie naprawdę wymaga kompletu (np. wszystkie kroki procedury).
  • Rzetelność licz na wynikach pytań, a nie na pojedynczych opcjach. Albanese i Sabers (1988) pokazali, że opcje tego samego pytania korelują ze sobą od 2.6 do 7.0 razy silniej niż opcje różnych pytań, więc nie można ich traktować jak niezależnych pozycji – a tak właśnie robi KR-20 liczony na opcjach. Przy punktach częściowych pozycje nie są już 0/1, więc zamiast KR-20 podaj alfę Cronbacha (dla pozycji 0/1 to ta sama liczba).
  • Napisz w instrukcji testu, że pytanie może mieć więcej niż jedną poprawną odpowiedź i że błędne zaznaczenia obniżają wynik.
  • Jeśli test łączy pytania jednokrotnego wyboru i pytania z kilkoma poprawnymi, każde pytanie warte jest najwyżej 1 punkt – inaczej pytania wielokrotne niepostrzeżenie dostają większą wagę.

Wagi pytań: zwykle niepotrzebne

Promotorzy i studenci często chcą dać trudniejszym albo „ważniejszym” pytaniom więcej punktów. W praktyce zmienia to niewiele. W przykładzie suma ważona trudnością (od 1 do 3 punktów, im trudniejsze pytanie, tym więcej) korelowała z sumą zwykłą na poziomie r = .994, a suma z arbitralnymi wagami 1–3 – na poziomie .985. Kolejność osób prawie się nie zmienia, a KR-20 traci sens, bo pozycje nie są już 0/1.

Ważność obszarów treści lepiej uwzględnić przy budowie testu – w tabeli specyfikacji dać ważnemu obszarowi więcej pytań (zob. budowa testu wiedzy) i sprawdzić to w ocenie ekspertów.

Wynik w procentach i jego opis

Gdy pytania mają różne formaty, najprościej podać wynik jako odsetek maksymalnej liczby punktów, czyli POMP. Dla testu z przykładu: suma punktów z 20 pytań jednokrotnego wyboru i 8 pytań z punktami częściowymi, podzielona przez 28 i pomnożona przez 100. Do opisu wyniku dołącz:

  • średnią, odchylenie standardowe, medianę i rozstęp (zob. poradnik o ankiecie wiedzy);
  • odsetek odpowiedzi „nie wiem”;
  • regułę punktowania każdego formatu, a przy pytaniach prawda/fałsz – poziom przypadku (50%).

Uważaj też na efekt sufitu: łagodna reguła punktowania (np. „opcje jak prawda/fałsz”) łatwo spycha wyniki pod 100% i zaciera różnice między osobami. Jeśli mierzysz wiedzę przed i po szkoleniu, zachowaj tę samą regułę w obu pomiarach – zmiana reguły między pomiarami zmienia wynik bardziej niż niejedno szkolenie (zob. badanie wiedzy przed i po szkoleniu).

Jak opisać punktowanie w pracy

Opis reguł należy do rozdziału metodologicznego, przy opisie narzędzia. Wzór dla testu z przykładu (uzupełnij nawiasy kwadratowe):

Test wiedzy składał się z 20 pytań jednokrotnego wyboru (cztery odpowiedzi i odpowiedź „nie wiem”) oraz 8 pytań, w których należało zaznaczyć wszystkie poprawne odpowiedzi (pięć opcji, w każdym pytaniu dwie lub trzy poprawne). W pytaniach jednokrotnego wyboru za odpowiedź zgodną z kluczem przyznawano 1 punkt, a za odpowiedź błędną, odpowiedź „nie wiem” i brak odpowiedzi – 0 punktów. W pytaniach z kilkoma poprawnymi odpowiedziami przyznawano 1/c punktu za każdą zaznaczoną poprawną odpowiedź i odejmowano 1/c punktu za każdą zaznaczoną błędną (c – liczba poprawnych odpowiedzi w pytaniu); wynik pytania nie mógł być niższy niż 0. Respondenci zostali o tym poinformowani w instrukcji. Nie stosowano poprawki na zgadywanie ani wag pytań. Wynik testu mógł wynosić od 0 do 28 punktów i przedstawiono go także jako odsetek maksymalnego wyniku. Rzetelność oszacowano współczynnikiem alfa Cronbacha obliczonym na wynikach 28 pytań.

Jeśli policzysz wynik z poprawką na zgadywanie jako analizę dodatkową, dodaj w wynikach jedno zdanie, na przykład:

Odpowiedź „nie wiem” stanowiła 25.0% wszystkich odpowiedzi w części jednokrotnego wyboru. W analizie dodatkowej obliczono wynik z poprawką na zgadywanie (liczba poprawnych odpowiedzi minus jedna trzecia liczby błędnych). Wnioski nie zmieniły się: [opisz, czy różnice między grupami i korelacje pozostały podobne].

Najczęstsze błędy

  • „Nie wiem” jako brak danych w teście wiedzy. Osoby, które uczciwie przyznają się do niewiedzy, dostają zawyżone wyniki, a rzetelność liczysz na garstce kompletnych odpowiedzi.
  • Punkty ujemne bez uprzedzenia respondentów. Poprawka na zgadywanie ma sens tylko wtedy, gdy instrukcja mówi, że za błędną odpowiedź traci się punkty.
  • Interpretowanie 60% w teście prawda/fałsz jak w teście A–D. Połowę punktów da sam rzut monetą.
  • Liczenie KR-20 na opcjach pytań z kilkoma poprawnymi odpowiedziami. Opcje tego samego pytania są zależne; licz rzetelność na wynikach pytań.
  • Reguła „opcje jak prawda/fałsz” bez komentarza. Pusta odpowiedź daje przy niej ponad połowę punktów.
  • Zmiana reguły po zobaczeniu wyników – na przykład przejście z „wszystko albo nic” na punkty częściowe, bo wyniki wyszły niskie. Regułę zapisz przed zebraniem danych.

Przy budowie testu przydadzą się też wpisy o pisaniu pytań testowych i dystraktorów oraz o statystyce w pracy z pielęgniarstwa. Jeśli chcesz, żeby ktoś sprawdził punktowanie, klucz i rzetelność Twojego testu, zanim oddasz rozdział, zobacz pomoc w analizie dla studentów.

Przykład reprodukowalny

Przykład w R: punktowanie testu wiedzy

Dwa przepisy liczą wszystkie liczby z tekstu. Pierwszy tworzy odpowiedzi 160 osób na 20 pytań A–D z „nie wiem”, zapisuje je do pliku CSV w folderze nadrzędnym (../), punktuje je trzema sposobami, liczy KR-20, progi dla testów prawda/fałsz i wpływ wag. Drugi punktuje 8 pytań z kilkoma poprawnymi odpowiedziami trzema regułami i powtarza symulację 200 razy. Rysunki powstały w osobnym skrypcie na tych samych danych. Pliki: punktowanie-testu-wiedzy-dane.csv i punktowanie-pytania-kilka-poprawnych.csv.

„Nie wiem”, poprawka na zgadywanie, prawda/fałsz i wagi

Dane wejściowe: 160 osób, 20 pytań A–D z odpowiedzią „nie wiem”, dane symulowane, set.seed(422); tylko bazowy R.

Co odczytać: odsetek „nie wiem”, średnie i korelacje trzech wyników z liczbą znanych pytań, dwie osoby o tej samej wiedzy, KR-20 przy dwóch regułach, progi „lepiej niż zgadywanie” i korelacje sum ważonych ze zwykłą.

R
# B422 – punktowanie testu wiedzy: „nie wiem”, zgadywanie, prawda/fałsz (dane symulowane)
# Test: 20 pytań jednokrotnego wyboru (A–D) z odpowiedzią „nie wiem”, 160 studentów pielęgniarstwa.
# Uruchom z folderu kod/; plik CSV trafia do folderu strony (../).
options(width = 100)
bz <- function(x, d = 2) sub("^(-?)0\\.", "\\1.", formatC(x, format = "f", digits = d))  # zapis APA: .50
set.seed(422)
N <- 160; k <- 20; opcje <- 4
pozycje <- paste0("P", 1:k)

# --- symulacja: kto zna odpowiedź, kto zgaduje, a kto zaznacza „nie wiem” ---------------
wiedza <- rnorm(N)                                  # cecha ukryta (wiedza)
sklonnosc <- rbeta(N, 2, 2)                         # gdy nie zna: P(zgaduje) zamiast „nie wiem”
trudnosc <- seq(-1.5, 1.5, length.out = k)
zna <- matrix(rbinom(N * k, 1, plogis(1.5 * outer(wiedza, trudnosc, "-"))), N, k)
klucz <- sample(LETTERS[1:opcje], k, replace = TRUE)
odp <- matrix(NA_character_, N, k, dimnames = list(NULL, pozycje))
for (j in 1:k) for (i in 1:N) {
  odp[i, j] <- if (zna[i, j] == 1) klucz[j] else
    if (runif(1) < sklonnosc[i]) sample(LETTERS[1:opcje], 1) else "nie wiem"
}
write.csv(data.frame(id = 1:N, odp), "../punktowanie-testu-wiedzy-dane.csv", row.names = FALSE)
cat("Klucz:", paste0(pozycje, "=", klucz, collapse = " "), "\n\n")

# --- punktowanie ---------------------------------------------------------------------
poprawna <- sweep(odp, 2, klucz, "==") * 1          # 1 = zgodna z kluczem
nie_wiem <- (odp == "nie wiem") * 1
bledna   <- 1 - poprawna - nie_wiem
R <- rowSums(poprawna); W <- rowSums(bledna); O <- rowSums(nie_wiem)
wyniki <- data.frame(
  zero_jeden   = R,                                 # 1/0, „nie wiem” = 0
  proc_udziel  = 100 * R / (R + W),                 # „nie wiem” jako brak: % poprawnych z udzielonych
  formula      = R - W / (opcje - 1))               # poprawka na zgadywanie
znane <- rowSums(zna)                               # ile pytań osoba naprawdę zna

cat("ODPOWIEDZI „NIE WIEM”\n")
cat(sprintf("Odsetek wszystkich odpowiedzi: %.1f%%; osoby bez żadnego „nie wiem”: %d z %d\n",
            100 * mean(nie_wiem), sum(O == 0), N))
cat(sprintf("Liczba „nie wiem” na osobę: M = %.2f, min = %d, max = %d\n\n", mean(O), min(O), max(O)))

cat("TRZY SPOSOBY PUNKTOWANIA (N = 160)\n")
opis <- data.frame(sposob = c("1/0, nie wiem = 0 (pkt 0-20)", "nie wiem = brak (% z udzielonych)",
                              "poprawka R - W/3 (pkt)"),
                   M = sapply(wyniki, mean), SD = sapply(wyniki, sd),
                   r_ze_znanymi = sapply(wyniki, cor, y = znane))
print(opis, row.names = FALSE, digits = 3)
cat(sprintf("Liczba pytań, które osoby naprawdę znały: M = %.2f, SD = %.2f\n", mean(znane), sd(znane)))
cat(sprintf("Wynik 1/0 minus liczba znanych pytań: M = %.2f; korelacja ze skłonnością do zgadywania r = %s\n",
            mean(R - znane), bz(cor(R - znane, sklonnosc))))
cat(sprintf("Wynik z poprawką minus liczba znanych: M = %.2f; korelacja ze skłonnością r = %s\n\n",
            mean(wyniki$formula - znane), bz(cor(wyniki$formula - znane, sklonnosc))))

cat("DWIE OSOBY, KTÓRE ZNAJĄ TYLE SAMO PYTAŃ\n")
kand <- which(znane == 10)
para <- c(kand[which.min(sklonnosc[kand])], kand[which.max(sklonnosc[kand])])
print(data.frame(osoba = para, znane = znane[para], sklonnosc = round(sklonnosc[para], 2),
                 poprawne = R[para], bledne = W[para], nie_wiem = O[para],
                 wynik_1_0 = R[para], proc_udziel = round(wyniki$proc_udziel[para], 1),
                 formula = round(wyniki$formula[para], 2)), row.names = FALSE)

cat("\nRZETELNOŚĆ (KR-20 = alfa dla pozycji 0/1)\n")
alfa <- function(X) { C <- cov(X); ncol(X) / (ncol(X) - 1) * (1 - sum(diag(C)) / sum(C)) }
kompletne <- O == 0
cat(sprintf("„Nie wiem” = 0, wszyscy (n = %d): KR-20 = %.3f\n", N, alfa(poprawna)))
cat(sprintf("„Nie wiem” = brak, usunięte osoby z brakami (zostaje n = %d): KR-20 = %.3f\n",
            sum(kompletne), alfa(poprawna[kompletne, ])))
cat(sprintf("  średni wynik tych osób: %.2f pkt wobec %.2f w całej grupie\n",
            mean(R[kompletne]), mean(R)))
pkt_formula <- poprawna - bledna / (opcje - 1)
cat(sprintf("Punktacja z poprawką (1 / 0 / -1/3), wszyscy: alfa = %.3f\n\n", alfa(pkt_formula)))

cat("PRAWDA/FAŁSZ I 4 OPCJE: JAKI WYNIK JEST LEPSZY OD ZGADYWANIA? (test jednostronny, alfa = .05)\n")
prog <- function(n, p) { x <- 0:n; min(x[pbinom(x - 1, n, p, lower.tail = FALSE) <= .05]) }
tab <- do.call(rbind, lapply(c(10, 20, 30, 40), function(n) data.frame(
  pytan = n,
  PF_oczekiwany = n * .5, PF_prog = prog(n, .5), PF_prog_proc = round(100 * prog(n, .5) / n, 1),
  ABCD_oczekiwany = n * .25, ABCD_prog = prog(n, .25), ABCD_prog_proc = round(100 * prog(n, .25) / n, 1))))
print(tab, row.names = FALSE)
cat("\n20 pytań P/F – rozkład wyniku przy samym zgadywaniu:\n")
x <- 12:16
print(data.frame(wynik = x, P_co_najmniej = round(pbinom(x - 1, 20, .5, lower.tail = FALSE), 4)),
      row.names = FALSE)
cat(sprintf("95%% wyników zgadującego mieści się w przedziale %d-%d pkt\n",
            qbinom(.025, 20, .5), qbinom(.975, 20, .5)))
bt <- binom.test(14, 20, p = .5, alternative = "greater")
ci <- binom.test(14, 20)$conf.int
cat(sprintf("Osoba z 14/20 P/F: p = %s (jednostronny), 95%% CI Cloppera-Pearsona [%.1f%%, %.1f%%]\n",
            bz(bt$p.value, 3), 100 * ci[1], 100 * ci[2]))
cat(sprintf("Wynik skorygowany o zgadywanie: (70%% - 50%%) / (100%% - 50%%) = %.0f%%\n\n",
            100 * (0.70 - 0.5) / (1 - 0.5)))

cat("WAGI PYTAŃ: czy zmieniają uporządkowanie osób?\n")
p_lat <- colMeans(poprawna)
wagi_trud <- 1 + 2 * (1 - p_lat)                    # trudniejsze pytania warte więcej (1-3 pkt)
wagi_los <- sample(1:3, k, replace = TRUE)          # wagi „według ważności” ustalone arbitralnie
cat(sprintf("r(suma, suma ważona trudnością) = %s; r(suma, wagi 1-3) = %s\n",
            bz(cor(R, poprawna %*% wagi_trud), 3), bz(cor(R, poprawna %*% wagi_los), 3)))
Wynik w R
Klucz: P1=D P2=B P3=B P4=D P5=C P6=B P7=B P8=C P9=D P10=B P11=A P12=C P13=D P14=A P15=C P16=A P17=A P18=C P19=C P20=B 

ODPOWIEDZI „NIE WIEM”
Odsetek wszystkich odpowiedzi: 25.0%; osoby bez żadnego „nie wiem”: 13 z 160
Liczba „nie wiem” na osobę: M = 4.99, min = 0, max = 15

TRZY SPOSOBY PUNKTOWANIA (N = 160)
                            sposob    M    SD r_ze_znanymi
      1/0, nie wiem = 0 (pkt 0-20) 11.5  4.21        0.954
 nie wiem = brak (% z udzielonych) 75.7 19.50        0.818
            poprawka R - W/3 (pkt) 10.3  4.82        0.968
Liczba pytań, które osoby naprawdę znały: M = 10.23, SD = 4.78
Wynik 1/0 minus liczba znanych pytań: M = 1.23; korelacja ze skłonnością do zgadywania r = .50
Wynik z poprawką minus liczba znanych: M = 0.04; korelacja ze skłonnością r = .18

DWIE OSOBY, KTÓRE ZNAJĄ TYLE SAMO PYTAŃ
 osoba znane sklonnosc poprawne bledne nie_wiem wynik_1_0 proc_udziel formula
     1    10      0.07       10      0       10        10       100.0      10
    59    10      0.87       12      6        2        12        66.7      10

RZETELNOŚĆ (KR-20 = alfa dla pozycji 0/1)
„Nie wiem” = 0, wszyscy (n = 160): KR-20 = 0.807
„Nie wiem” = brak, usunięte osoby z brakami (zostaje n = 13): KR-20 = 0.735
  średni wynik tych osób: 17.46 pkt wobec 11.46 w całej grupie
Punktacja z poprawką (1 / 0 / -1/3), wszyscy: alfa = 0.799

PRAWDA/FAŁSZ I 4 OPCJE: JAKI WYNIK JEST LEPSZY OD ZGADYWANIA? (test jednostronny, alfa = .05)
 pytan PF_oczekiwany PF_prog PF_prog_proc ABCD_oczekiwany ABCD_prog ABCD_prog_proc
    10             5       9         90.0             2.5         6           60.0
    20            10      15         75.0             5.0         9           45.0
    30            15      20         66.7             7.5        13           43.3
    40            20      26         65.0            10.0        16           40.0

20 pytań P/F – rozkład wyniku przy samym zgadywaniu:
 wynik P_co_najmniej
    12        0.2517
    13        0.1316
    14        0.0577
    15        0.0207
    16        0.0059
95% wyników zgadującego mieści się w przedziale 6-14 pkt
Osoba z 14/20 P/F: p = .058 (jednostronny), 95% CI Cloppera-Pearsona [45.7%, 88.1%]
Wynik skorygowany o zgadywanie: (70% - 50%) / (100% - 50%) = 40%

WAGI PYTAŃ: czy zmieniają uporządkowanie osób?
r(suma, suma ważona trudnością) = .994; r(suma, wagi 1-3) = .985

Pytania z kilkoma poprawnymi odpowiedziami: trzy reguły i 200 powtórzeń

Dane wejściowe: 160 osób, 8 pytań po 5 opcji (2 lub 3 poprawne), zaznaczenia zapisane w jednej komórce („A, C”), dane symulowane, set.seed(4220); tylko bazowy R.

Co odczytać: punkty za przykładowe wzorce zaznaczeń, średni wynik, SD, alfę i korelację z wiedzą dla każdej reguły, wynik losowego zaznaczania, zaznaczenia wszystkiego i pustej odpowiedzi oraz rozrzut alfy w 200 powtórzeniach.

R
# B422 – pytania z kilkoma poprawnymi odpowiedziami: trzy sposoby punktowania (dane symulowane)
# 8 pytań „zaznacz wszystkie poprawne”, po 5 opcji (A–E), 2 lub 3 poprawne; 160 studentów.
# Uruchom z folderu kod/; plik CSV (zaznaczenia w jednej komórce, jak w eksporcie z formularza) trafia do ../
options(width = 100)
set.seed(4220)
m <- 5; opc <- LETTERS[1:m]; n_poz <- 8
klucz <- list(c("A","C"), c("B","D","E"), c("A","B"), c("C","E"), c("A","D","E"),
              c("B","C"), c("A","B","D"), c("D","E"))
names(klucz) <- paste0("W", 1:n_poz)

# Reguły punktowania jednego pytania (zaznaczone = wektor liter)
pkt_aon <- function(zazn, kl) as.numeric(setequal(zazn, kl))                 # wszystko albo nic
pkt_czesc <- function(zazn, kl) {                                            # +1/c za trafne, -1/c za błędne, min. 0
  c_ <- length(kl); max(0, (sum(zazn %in% kl) - sum(!zazn %in% kl)) / c_) }
pkt_pf <- function(zazn, kl) mean((opc %in% zazn) == (opc %in% kl))          # każda opcja jak prawda/fałsz
reguly <- list(wszystko_albo_nic = pkt_aon, czesciowe = pkt_czesc, opcje_jak_PF = pkt_pf)

cat("PRZYKŁAD: pytanie z poprawnymi A i C\n")
wzorce <- list("A, C", "A", "A, C, D", "A, B, C, D, E", "", "B, D")
rozbij <- function(s) if (is.na(s) || s == "") character(0) else strsplit(s, ", ")[[1]]
print(data.frame(zaznaczono = sapply(wzorce, function(s) if (s == "") "(nic)" else s),
                 t(sapply(wzorce, function(s) sapply(reguly, function(f) round(f(rozbij(s), c("A","C")), 2))))),
      row.names = FALSE)

# Symulacja odpowiedzi: przy każdej opcji osoba wie, czy jest poprawna, albo zaznacza „na wyczucie”
symuluj <- function(N = 160) {
  wiedza <- rnorm(N); sklon <- rbeta(N, 2, 3)          # sklon: P(zaznaczy opcję, której nie zna)
  trud <- matrix(seq(-1.2, 1.2, length.out = n_poz * m)[sample(n_poz * m)], n_poz, m)
  zazn <- matrix("", N, n_poz, dimnames = list(NULL, names(klucz)))
  for (j in 1:n_poz) {
    popr <- opc %in% klucz[[j]]
    zna <- matrix(rbinom(N * m, 1, plogis(1.3 * outer(wiedza, trud[j, ], "-"))), N, m)
    strzal <- matrix(rbinom(N * m, 1, sklon), N, m)
    X <- ifelse(zna == 1, rep(popr, each = N), strzal)
    zazn[, j] <- apply(X, 1, function(w) paste(opc[w == 1], collapse = ", "))
  }
  list(zazn = zazn, wiedza = wiedza)
}
punktuj <- function(zazn, f) sapply(seq_along(klucz), function(j)
  sapply(zazn[, j], function(s) f(rozbij(s), klucz[[j]])))
alfa <- function(X) { C <- cov(X); ncol(X) / (ncol(X) - 1) * (1 - sum(diag(C)) / sum(C)) }

d <- symuluj()
write.csv(data.frame(id = seq_len(nrow(d$zazn)), d$zazn), "../punktowanie-pytania-kilka-poprawnych.csv",
          row.names = FALSE)
cat("\nPierwsze odpowiedzi (format jak w eksporcie z formularza):\n"); print(head(d$zazn, 3))

cat("\nTRZY REGUŁY NA TYCH SAMYCH ODPOWIEDZIACH (N = 160, wynik w % maksimum)\n")
# Losowe zaznaczanie (każda opcja z p = .5) – wartość oczekiwana z 32 możliwych wzorców
wzory <- lapply(0:(2^m - 1), function(v) opc[bitwAnd(v, 2^(0:(m - 1))) > 0])
oczekiwany <- function(f) 100 * mean(sapply(klucz, function(kl) mean(sapply(wzory, f, kl = kl))))
wszystko <- function(f) 100 * mean(sapply(klucz, function(kl) f(opc, kl)))
nic <- function(f) 100 * mean(sapply(klucz, function(kl) f(character(0), kl)))
tab <- do.call(rbind, lapply(names(reguly), function(r) {
  P <- punktuj(d$zazn, reguly[[r]]); w <- 100 * rowMeans(P)
  data.frame(regula = r, M = mean(w), SD = sd(w), alfa = alfa(P), r_z_wiedza = cor(w, d$wiedza),
             losowo = oczekiwany(reguly[[r]]), wszystko = wszystko(reguly[[r]]), nic = nic(reguly[[r]]))
}))
print(transform(tab, M = round(M, 1), SD = round(SD, 1), alfa = round(alfa, 3), r_z_wiedza = round(r_z_wiedza, 3),
                losowo = round(losowo, 1), wszystko = round(wszystko, 1), nic = round(nic, 1)), row.names = FALSE)

cat("\nCZY TO WYNIK TEGO JEDNEGO LOSOWANIA? 200 powtórzeń symulacji\n")
pow <- replicate(200, {
  s <- symuluj()
  sapply(reguly, function(f) { P <- punktuj(s$zazn, f); c(alfa(P), cor(rowMeans(P), s$wiedza)) })
})
for (r in names(reguly)) {
  a <- pow[1, r, ]; rr <- pow[2, r, ]
  cat(sprintf("%-18s alfa: średnio %.3f (95%% wyników %.3f-%.3f); r z wiedzą: średnio %.3f (%.3f-%.3f)\n",
              r, mean(a), quantile(a, .025), quantile(a, .975), mean(rr), quantile(rr, .025), quantile(rr, .975)))
}
cat(sprintf("Alfa reguły częściowej wyższa niż wszystko-albo-nic w %.1f%% powtórzeń\n",
            100 * mean(pow[1, "czesciowe", ] > pow[1, "wszystko_albo_nic", ])))
Wynik w R
PRZYKŁAD: pytanie z poprawnymi A i C
    zaznaczono wszystko_albo_nic czesciowe opcje_jak_PF
          A, C                 1       1.0          1.0
             A                 0       0.5          0.8
       A, C, D                 0       0.5          0.8
 A, B, C, D, E                 0       0.0          0.4
         (nic)                 0       0.0          0.6
          B, D                 0       0.0          0.2

Pierwsze odpowiedzi (format jak w eksporcie z formularza):
     W1     W2        W3     W4           W5           W6  W7        W8       
[1,] "A, C" "D, E"    "B"    "A, C, E"    "A, B, D"    "C" "B, D"    "C"      
[2,] "A, C" "D, E"    "A, B" "B, C, D, E" "A, C, D, E" "E" "B, C, D" "B, D, E"
[3,] "C, D" "B, D, E" "D"    "E"          "B, D"       ""  "A, B"    "B"      

TRZY REGUŁY NA TYCH SAMYCH ODPOWIEDZIACH (N = 160, wynik w % maksimum)
            regula    M   SD  alfa r_z_wiedza losowo wszystko  nic
 wszystko_albo_nic 22.8 22.6 0.656      0.768    3.1      0.0  0.0
         czesciowe 45.9 21.7 0.732      0.855   15.8     12.5  0.0
      opcje_jak_PF 72.7 12.6 0.758      0.859   50.0     47.5 52.5

CZY TO WYNIK TEGO JEDNEGO LOSOWANIA? 200 powtórzeń symulacji
wszystko_albo_nic  alfa: średnio 0.679 (95% wyników 0.590-0.753); r z wiedzą: średnio 0.790 (0.735-0.831)
czesciowe          alfa: średnio 0.757 (95% wyników 0.693-0.812); r z wiedzą: średnio 0.860 (0.821-0.888)
opcje_jak_PF       alfa: średnio 0.760 (95% wyników 0.706-0.812); r z wiedzą: średnio 0.866 (0.824-0.896)
Alfa reguły częściowej wyższa niż wszystko-albo-nic w 100.0% powtórzeń

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów base i stats); rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych programów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Czy w teście wiedzy odejmować punkty za błędne odpowiedzi?

Tylko wtedy, gdy respondenci wiedzą o tym z instrukcji. Poprawka na zgadywanie odejmuje 1/(k − 1) punktu za każdą błędną odpowiedź (przy czterech opcjach 1/3), więc strzał na ślepo daje średnio zero. W ankiecie wiedzy do pracy dyplomowej zwykle wystarczy reguła 1/0 z odpowiedzią „nie wiem” za 0 punktów, a wynik z poprawką możesz policzyć jako analizę dodatkową.

Ile poprawnych odpowiedzi w teście prawda/fałsz to więcej niż zgadywanie?

Zależy od długości testu. Przy 20 pytaniach zgadujący ma średnio 10 punktów, a wynik istotnie lepszy od przypadku (test jednostronny, α = .05) zaczyna się od 15 punktów, czyli 75%. Przy 40 pytaniach próg to 26 punktów (65%). Granice policzysz z rozkładu dwumianowego, np. funkcją binom.test w R.

Jak punktować pytanie, w którym jest kilka poprawnych odpowiedzi?

Najczęściej poleca się punkty częściowe: +1/c za każdą zaznaczoną poprawną opcję i −1/c za każdą zaznaczoną błędną (c – liczba poprawnych opcji), z wynikiem pytania nie niższym niż 0. Reguła „wszystko albo nic” traci informację o częściowej wiedzy, a ocenianie każdej opcji jak pytania prawda/fałsz daje około połowy punktów nawet za pustą odpowiedź.

Czy liczyć odsetek poprawnych odpowiedzi tylko z pytań, na które ktoś odpowiedział?

W teście wiedzy nie. Osoba, która zna połowę pytań i na resztę zaznacza „nie wiem”, dostałaby wtedy 100%, a rzetelność liczyłbyś na garstce osób bez żadnego „nie wiem”. Licz odsetek z wszystkich pytań, a liczbę odpowiedzi „nie wiem” pokaż osobno.

Czy trudniejsze pytania w teście wiedzy powinny mieć więcej punktów?

Zwykle nie warto. W naszej symulacji suma ważona trudnością korelowała ze zwykłą sumą na poziomie r = .994, więc kolejność osób prawie się nie zmieniła, a opis wyniku i KR-20 stały się trudniejsze. Ważniejszym obszarom treści daj raczej więcej pytań w planie testu.

Powiązane hasła

Przeczytaj też

Budujesz test wiedzy do pracy z pielęgniarstwa lub zdrowia publicznego?

Pomożemy ustalić reguły punktowania przed zebraniem danych, sprawdzimy klucz i rzetelność testu w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Albanese, M. A., & Sabers, D. L. (1988). Multiple true-false items: A study of interitem correlations, scoring alternatives, and reliability estimation. Journal of Educational Measurement, 25(2), 111–123. https://doi.org/10.1111/j.1745-3984.1988.tb00296.x
  2. Budescu, D., & Bar-Hillel, M. (1993). To guess or not to guess: A decision-theoretic view of formula scoring. Journal of Educational Measurement, 30(4), 277–291. https://doi.org/10.1111/j.1745-3984.1993.tb00427.x
  3. Burton, R. F. (2005). Multiple-choice and true/false tests: Myths and misapprehensions. Assessment & Evaluation in Higher Education, 30(1), 65–72. https://doi.org/10.1080/0260293042003243904
  4. Frary, R. B. (1988). Formula scoring of multiple-choice tests (correction for guessing). Educational Measurement: Issues and Practice, 7(2), 33–38. https://doi.org/10.1111/j.1745-3992.1988.tb00434.x
  5. Kanzow, P., Schmidt, D., Herrmann, M., Wassmann, T., Wiegand, A., & Raupach, T. (2023). Use of multiple-select multiple-choice items in a dental undergraduate curriculum: Retrospective study involving the application of different scoring methods. JMIR Medical Education, 9, Article e43792. https://doi.org/10.2196/43792 ● Otwarty dostęp
  6. Kuder, G. F., & Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160. https://doi.org/10.1007/BF02288391
  7. Luskin, R. C., & Bullock, J. G. (2011). “Don't know” means “don't know”: DK responses and the public's level of political knowledge. The Journal of Politics, 73(2), 547–557. https://doi.org/10.1017/s0022381611000132
  8. Schmidt, D., Raupach, T., Wiegand, A., Herrmann, M., & Kanzow, P. (2021). Relation between examinees’ true knowledge and examination scores: Systematic review and exemplary calculations on Multiple-True-False items. Educational Research Review, 34, Article 100409. https://doi.org/10.1016/j.edurev.2021.100409
  9. Tsai, F.-J., & Suen, H. K. (1993). A brief report on a comparison of six scoring methods for multiple true-false items. Educational and Psychological Measurement, 53(2), 399–404. https://doi.org/10.1177/0013164493053002008

Cytowania BibTeX

@article{albanese1988multiple, author={Albanese, Mark A. and Sabers, Darrell L.}, title={{Multiple true-false items: A study of interitem correlations, scoring alternatives, and reliability estimation}}, journal={Journal of Educational Measurement}, year={1988}, volume={25}, number={2}, pages={111--123}, doi={10.1111/j.1745-3984.1988.tb00296.x}}
@article{budescu1993guess, author={Budescu, David and Bar-Hillel, Maya}, title={{To guess or not to guess: A decision-theoretic view of formula scoring}}, journal={Journal of Educational Measurement}, year={1993}, volume={30}, number={4}, pages={277--291}, doi={10.1111/j.1745-3984.1993.tb00427.x}}
@article{burton2005multiple, author={Burton, Richard F.}, title={{Multiple-choice and true/false tests: Myths and misapprehensions}}, journal={Assessment \& Evaluation in Higher Education}, year={2005}, volume={30}, number={1}, pages={65--72}, doi={10.1080/0260293042003243904}}
@article{frary1988formula, author={Frary, Robert B.}, title={{Formula scoring of multiple-choice tests (correction for guessing)}}, journal={Educational Measurement: Issues and Practice}, year={1988}, volume={7}, number={2}, pages={33--38}, doi={10.1111/j.1745-3992.1988.tb00434.x}}
@article{kanzow2023use, author={Kanzow, Philipp and Schmidt, Dennis and Herrmann, Manfred and Wassmann, Torsten and Wiegand, Annette and Raupach, Tobias}, title={{Use of multiple-select multiple-choice items in a dental undergraduate curriculum: Retrospective study involving the application of different scoring methods}}, journal={JMIR Medical Education}, year={2023}, volume={9}, eid={e43792}, doi={10.2196/43792}}
@article{kuder1937theory, author={Kuder, G. F. and Richardson, M. W.}, title={{The theory of the estimation of test reliability}}, journal={Psychometrika}, year={1937}, volume={2}, number={3}, pages={151--160}, doi={10.1007/bf02288391}}
@article{luskin2011dont, author={Luskin, Robert C. and Bullock, John G.}, title={{“Don't know” means “don't know”: DK responses and the public's level of political knowledge}}, journal={The Journal of Politics}, year={2011}, volume={73}, number={2}, pages={547--557}, doi={10.1017/s0022381611000132}}
@article{schmidt2021relation, author={Schmidt, Dennis and Raupach, Tobias and Wiegand, Annette and Herrmann, Manfred and Kanzow, Philipp}, title={{Relation between examinees’ true knowledge and examination scores: Systematic review and exemplary calculations on Multiple-True-False items}}, journal={Educational Research Review}, year={2021}, volume={34}, eid={100409}, doi={10.1016/j.edurev.2021.100409}}
@article{tsai1993brief, author={Tsai, Fu-Ju and Suen, Hoi K.}, title={{A brief report on a comparison of six scoring methods for multiple true-false items}}, journal={Educational and Psychological Measurement}, year={1993}, volume={53}, number={2}, pages={399--404}, doi={10.1177/0013164493053002008}}
R