Psychometria · Kalkulator

Kalkulator wyniku skali: suma, średnia, POMP i reguła prorated

Wpisz klucz skali i odpowiedzi jednej osoby, a kalkulator odwróci pozycje, policzy sumę, średnią, wynik POMP i liczbę braków oraz wynik z regułą prorated. Dane nie opuszczają Twojej przeglądarki.

Strona główna / Blog / Kalkulator wyniku skali

Autor: · Opublikowano:

W skrócie: Wynik skali liczysz po odwróceniu pozycji odwróconych wzorem max + min − x. Przy pojedynczych brakach wynik bierze się ze średniej dostępnych odpowiedzi (reguła prorated), o ile osoba odpowiedziała na wystarczająco wiele pozycji, np. 8 z 10. Sumę z pominięciem braków nigdy nie porównuj z normami. Kalkulator liczy wszystko w przeglądarce i nie wysyła danych.

Kalkulator wyniku skali online

Wpisz klucz skali i odpowiedzi jednej osoby. Kalkulator odwróci wskazane pozycje, policzy sumę, średnią, wynik POMP i liczbę braków, a przy brakach zastosuje regułę prorated z wybranym progiem.

Twoje dane nie opuszczają przeglądarki. Obliczenia wykonuje skrypt na tej stronie, w pamięci Twojego komputera. Kalkulator niczego nie wysyła na serwer i niczego nie zapisuje, także w pamięci przeglądarki. Po zamknięciu lub odświeżeniu karty odpowiedzi znikają. Mimo to nie wpisuj imion ani innych danych identyfikujących osoby badane – do obliczeń wystarczą same odpowiedzi.

Policz wynik skali dla jednej osoby

Kalkulator wymaga włączonej obsługi JavaScriptu.

Opis sposobu liczenia do pracy

Wyniki kalkulatora sprawdziliśmy z R na 87 przypadkach testowych: skale 0–4, 1–5 i 1–7, odpowiedzi ułamkowe, same braki, wszystkie pozycje odwrócone i dane wklejone z Excela.

Jak używać kalkulatora

Zacznij od klucza odpowiedzi z podręcznika albo z artykułu autorów skali. Z klucza przepisz trzy informacje: liczbę pozycji, zakres odpowiedzi (np. 1–5 na skali Likerta) i numery pozycji odwróconych. Jeśli skala ma podskale, licz każdą osobno i wpisuj tylko pozycje danej podskali, w kolejności z klucza.

  1. Liczba pozycji, minimum i maksimum. Minimum i maksimum to możliwe granice odpowiedzi, a nie najniższa i najwyższa odpowiedź w Twojej bazie. Przy skali 0–4 wpisz 0 i 4, a nie 1 i 5.
  2. Pozycje odwrócone. Wpisz numery po przecinku („2, 5, 9”) albo zakres („3-5”). Pozycja odwrócona to taka, przy której zgoda oznacza niższy poziom cechy. Kalkulator przekoduje ją wzorem max + min − x.
  3. Odpowiedzi. Wpisz je po przecinku albo skopiuj wiersz z Excela (komórki rozdzielone tabulatorem). Brak odpowiedzi oznacz pustym polem między przecinkami, „NA”, „-” albo „.”. Jeśli w bazie braki mają kod, np. −99, wpisz go w polu „Kod braku”. Kalkulator sprawdzi, czy liczba pól zgadza się z liczbą pozycji i czy żadna odpowiedź nie wychodzi poza skalę.
  4. Reguła prorated. Wybierz minimalny odsetek odpowiedzi, przy którym wynik jeszcze liczysz. Jeśli podręcznik testu podaje własną regułę, wybierz tę. Kalkulator zaokrągla w górę: przy 10 pozycjach i 80% wymaga 8 odpowiedzi, przy 12 pozycjach i 75% – 9.

Kalkulator przydaje się do sprawdzenia kilku osób, np. czy formuła w arkuszu liczy dobrze. Wyników całej bazy nie przepisuj ręcznie, tylko policz je skryptem. Gotowy kod R jest niżej, a pełną procedurę dla Excela, SPSS, R i jamovi opisuje poradnik jak policzyć wynik kwestionariusza.

Wzory

Najpierw kalkulator odwraca pozycje odwrócone:

xodwr = max + min − x

Na skali 1–5 to 6 − x, a na skali 0–4 to 4 − x. Potem liczy cztery wyniki. Niech k oznacza liczbę pozycji skali, a m liczbę udzielonych odpowiedzi (m ≤ k).

średnia = Σx / m
suma prorated = średnia × k,   gdy m ≥ ⌈próg × k⌉
POMP = (średnia − min) / (max − min) × 100

Przy kompletnych odpowiedziach suma prorated jest zwykłą sumą (wynikiem surowym), a średnia to suma podzielona przez k. Różnica między średnią a sumą pojawia się dopiero przy brakach, co opisuje hasło wynik skali: średnia czy suma. Wynik POMP pokazuje położenie w zakresie skali od 0 do 100. Cohen i in. (1999) zaproponowali go, bo większość miar w psychologii nie ma zrozumiałych jednostek. Kalkulator podaje też sumę udzielonych odpowiedzi bez korekty, ale tylko po to, żeby pokazać, ile tracisz przy brakach.

Przykład w R z domyślnymi danymi

Domyślne dane w kalkulatorze dotyczą fikcyjnej skali poczucia skuteczności w nauce: 10 pozycji z odpowiedziami od 1 do 5, pozycje 2, 5 i 9 odwrócone, wyższy wynik oznacza większe poczucie skuteczności. Skalę wymyśliliśmy na potrzeby przykładu, więc nie szukaj jej w literaturze. Ola odpowiedziała na 9 pozycji, a pozycję 5 pominęła. Jej odpowiedzi to 4, 2, 5, 4, brak, 3, 4, 5, 1, 4.

Wyniki Oli i Kuby w fikcyjnej skali 10 pozycji 1–5 policzone w R przy różnych regułach
WariantOdpowiedziSuma udzielonychŚredniaSuma proratedPOMP
Ola, po odwróceniu pozycji 2, 5, 99 z 10384.2242.2280.56
Ola, bez odwracania (błąd)9 z 10323.56––
Ola, gdyby odpowiedziała „1” w pozycji 510 z 10434.3043.0082.50
Kuba, reguła 80%7 z 10294.14brak wynikubrak wyniku
Kuba, reguła 70%7 z 10294.1441.4378.57

Po odwróceniu pozycji 2 i 9 odpowiedzi „2” i „1” zmieniają się w „4” i „5”. Suma dziewięciu udzielonych odpowiedzi wynosi 38, a średnia 4.22. Ponieważ Ola odpowiedziała na 9 z 10 pozycji, a reguła 80% wymaga 8, wynik liczymy. Suma prorated to 4.22 × 10 = 42.22, a POMP to (4.22 − 1)/4 × 100 = 80.56. Gdyby ktoś zapomniał odwrócić pozycje, dostałby średnią 3.56, czyli o 0.67 punktu niższą. To błąd o dwie trzecie stopnia skali.

Kuba pominął trzy pozycje. Przy regule 80% (co najmniej 8 odpowiedzi) jego wynik traktujemy jako brak danych. Przy regule 70% wynik wynosi 4.14, a suma prorated 41.43. Sama decyzja o progu przesądza więc o tym, czy Kuba trafi do analiz. Dlatego regułę ustal przed analizą i opisz w pracy.

Przykład reprodukowalny

Kod R: wynik skali z regułą prorated

Funkcja wynik_skali() liczy to samo co kalkulator dla jednej osoby. Ostatni fragment robi to samo dla całej bazy, w której wiersze to osoby, a kolumny to pozycje. Kod używa wyłącznie funkcji bazowych R.

1. Jedna osoba i cała baza

Dane wejściowe: odpowiedzi trzech fikcyjnych osób w fikcyjnej skali 10 pozycji 1–5 (dane przykładowe), pozycje odwrócone 2, 5 i 9.

Co odczytać: liczbę odpowiedzi i braków, sumę udzielonych odpowiedzi, średnią, sumę prorated i POMP.

R
# Kalkulator wyniku skali (K6) – przykład liczbowy z domyślnymi wartościami kalkulatora.
# Uruchomienie z folderu kod/: LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript k6-przyklad.R > k6-przyklad-wynik.txt
# Fikcyjna skala: 10 pozycji, odpowiedzi 1–5, pozycje odwrócone 2, 5 i 9, reguła: co najmniej 80% odpowiedzi.
k <- 10; min_s <- 1; max_s <- 5; odwr <- c(2, 5, 9); prog <- 80

wynik_skali <- function(odp, min_s, max_s, odwr, prog) {
  x <- odp
  x[odwr] <- max_s + min_s - x[odwr]                 # odwrócenie: max + min − x
  n_odp <- sum(!is.na(x)); wymagane <- ceiling(length(x) * prog / 100 - 1e-9)
  srednia <- mean(x, na.rm = TRUE)
  c(odpowiedzi = n_odp, braki = sum(is.na(x)), wymagane = wymagane,
    suma_dostepnych = sum(x, na.rm = TRUE), srednia = srednia,
    suma_prorated = if (n_odp >= wymagane) srednia * length(x) else NA,
    POMP = if (n_odp >= wymagane) (srednia - min_s) / (max_s - min_s) * 100 else NA)
}

# 1. Odpowiedzi domyślne: brak w pozycji 5
ola <- c(4, 2, 5, 4, NA, 3, 4, 5, 1, 4)
round(wynik_skali(ola, min_s, max_s, odwr, prog), 2)
# ta sama osoba bez odwracania pozycji (częsty błąd)
round(c(srednia_bez_odwracania = mean(ola, na.rm = TRUE), suma_bez_odwracania = sum(ola, na.rm = TRUE)), 2)
round(wynik_skali(ola, min_s, max_s, odwr, prog)["srednia"] - mean(ola, na.rm = TRUE), 2)   # zaniżenie średniej
# ile odpowiedzi wymaga reguła: 10 pozycji i 80%, 12 pozycji i 75%
c(ceiling(10 * 80 / 100 - 1e-9), ceiling(12 * 75 / 100 - 1e-9))

# 2. Gdyby osoba odpowiedziała też na pozycję 5 (np. „1”, czyli 5 po odwróceniu)
round(wynik_skali(replace(ola, 5, 1), min_s, max_s, odwr, prog), 2)

# 3. Trzy braki z dziesięciu: reguła 80% nie jest spełniona, przy 70% – jest
kuba <- c(4, NA, 5, NA, 3, 3, NA, 5, 1, 4)
round(wynik_skali(kuba, min_s, max_s, odwr, 80), 2)
round(wynik_skali(kuba, min_s, max_s, odwr, 70), 2)

# 4. Ta sama procedura dla całej bazy (wiersze = osoby, kolumny p1–p10)
baza <- rbind(ola = ola, kuba = kuba, ewa = c(5, 1, 4, 5, 2, 4, 5, 4, 2, 5))
colnames(baza) <- paste0("p", 1:k)
baza_odwr <- baza
baza_odwr[, odwr] <- max_s + min_s - baza_odwr[, odwr]
n_odp <- rowSums(!is.na(baza_odwr))
srednia <- ifelse(n_odp >= ceiling(k * prog / 100), rowMeans(baza_odwr, na.rm = TRUE), NA)
round(data.frame(n_odp, srednia, suma_prorated = srednia * k, POMP = (srednia - min_s) / (max_s - min_s) * 100), 2)
Wynik
     odpowiedzi           braki        wymagane suma_dostepnych         srednia 
           9.00            1.00            8.00           38.00            4.22 
  suma_prorated            POMP 
          42.22           80.56 
srednia_bez_odwracania    suma_bez_odwracania 
                  3.56                  32.00 
srednia 
   0.67 
[1] 8 9
     odpowiedzi           braki        wymagane suma_dostepnych         srednia 
           10.0             0.0             8.0            43.0             4.3 
  suma_prorated            POMP 
           43.0            82.5 
     odpowiedzi           braki        wymagane suma_dostepnych         srednia 
           7.00            3.00            8.00           29.00            4.14 
  suma_prorated            POMP 
             NA              NA 
     odpowiedzi           braki        wymagane suma_dostepnych         srednia 
           7.00            3.00            7.00           29.00            4.14 
  suma_prorated            POMP 
          41.43           78.57 
     n_odp srednia suma_prorated  POMP
ola      9    4.22         42.22 80.56
kuba     7      NA            NA    NA
ewa     10    4.50         45.00 87.50

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (wyłącznie funkcje bazowe).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Jak interpretować wynik

Średnia zostaje w metryce odpowiedzi. Wynik 4.22 na skali 1–5 możesz przeczytać jako „raczej się zgadzam” z twierdzeniami o poczuciu skuteczności. Średnia pozwala też porównać podskale o różnej liczbie pozycji. Suma prorated jest potrzebna, gdy test ma normy albo punkty odcięcia liczone na sumach. Wtedy porównuj z normami tylko sumę prorated albo sumę z kompletnych odpowiedzi, nigdy sumę udzielonych odpowiedzi przy brakach. U Oli różnica wynosi ponad 4 punkty (38 wobec 42.22), choć jej odpowiedzi się nie zmieniły.

POMP 80.56 znaczy, że wynik leży w 80.56% drogi od najniższego do najwyższego możliwego wyniku. To nie jest percentyl: nie mówi, że Ola wypadła lepiej niż 80% osób. Do takiego porównania potrzebne są normy. Moeller (2015) zaleca przekształcenia do zakresu skali, takie jak POMP, w badaniach podłużnych zamiast standaryzacji do wyników z, bo zachowują zmianę średniego poziomu między pomiarami.

Każdy z tych wyników ma sens dopiero wtedy, gdy pozycje mierzą jedną cechę. McNeish i Wolf (2020) przypominają, że suma odpowiedzi to ograniczony model pomiarowy, który wymaga uzasadnienia. Widaman i Revelle (2023) odpowiadają, że kluczowa jest jednowymiarowość zestawu pozycji. Gdy ją potwierdzono, suma albo średnia zwykle wystarcza. W pracy dyplomowej oznacza to, że sprawdzasz strukturę skali w literaturze i podajesz jej rzetelność w swojej próbie (zob. alfa Cronbacha).

Ograniczenia

  • Reguła prorated nie jest neutralna. Uzupełnienie wyniku średnią z dostępnych pozycji zakłada, że brakująca odpowiedź byłaby podobna do pozostałych. Mazza i in. (2015) wykazali w symulacjach, że takie uśrednianie daje obciążone wyniki nawet przy brakach całkowicie losowych. Przy pojedynczych brakach problem jest zwykle mały, ale przy wielu – sięgnij po metody z poradnika braki danych i imputacja wielokrotna w R.
  • Próg jest umowny. Downey i King (1998) porównywali zastępowanie braków w skalach Likerta średnią osoby i średnią pozycji. Obie metody dobrze odtwarzały dane, gdy osób z brakami i brakujących pozycji było najwyżej 20%. Przy większej liczbie braków zniekształcały korelacje między pozycjami. To nie jest uniwersalna reguła, ale wskazuje, dlaczego popularny próg 80% ma sens. Jeśli podręcznik testu podaje inną regułę, stosuj tamtą.
  • Kalkulator nie rozpoznaje przyczyny braków. Gdy osoby pomijają pozycje z określonego powodu, np. pytania drażliwe, wynik z dostępnych pozycji może być systematycznie zawyżony albo zaniżony. Sprawdź mechanizm braków danych, zanim zdecydujesz o metodzie.
  • Odwrócenie nie naprawia złej pozycji. Suárez-Álvarez i in. (2018) wykazali, że łączenie pozycji prostych i odwróconych w jednej skali obniżało rzetelność i zagrażało jednowymiarowości. Jeśli pozycja odwrócona po przekodowaniu nadal koreluje ujemnie z resztą skali, sprawdź klucz, zanim policzysz wyniki.
  • Jedna osoba naraz. Kalkulator nie liczy statystyk dla grupy. Gdy masz już wyniki wszystkich osób, przedział ufności dla średniej grupy policzysz w kalkulatorze przedziału ufności.

Jeśli Twoja skala ma nietypowy klucz, wiele podskal albo dużo braków, a nie wiesz, jak to opisać, możesz skorzystać z pomocy w przygotowaniu i analizie danych. Pokażemy, jak policzyć wyniki, i wyjaśnimy decyzje tak, żebyś umiał(a) je obronić.

Jak opisać liczenie wyniku w pracy

W części „Narzędzia” albo „Analiza danych” opisz cztery decyzje: z jakich pozycji powstał wynik, które pozycje odwrócono, czy wynikiem jest suma, czy średnia, i co zrobiono z brakami. Recenzent powinien móc odtworzyć Twój wynik z samych odpowiedzi. Pole „Opis sposobu liczenia do pracy” w kalkulatorze tworzy taki opis z wpisanych ustawień. Wzór dla przykładu:

Wynik skali poczucia skuteczności w nauce obliczono jako średnią odpowiedzi na 10 pozycji (zakres 1–5), po odwróceniu pozycji 2, 5 i 9; wyższy wynik oznacza większe poczucie skuteczności. Gdy osoba odpowiedziała na co najmniej 8 z 10 pozycji, wynik liczono ze średniej dostępnych odpowiedzi; przy większej liczbie braków wynik traktowano jako brak danych. Kryterium to spełniło X z N osób. Aby ułatwić porównanie z innymi skalami, średnie przeliczono dodatkowo na procent maksymalnego możliwego wyniku (POMP; Cohen i in., 1999).

W miejsce X i N wpisz liczby ze swojej bazy. Gdy skala ma podskale i wynik ogólny, opisz regułę dla każdej z nich. Przykłady opisów dla konkretnych narzędzi znajdziesz we wpisie PSS-10 – jak policzyć wynik.

Najczęstsze pytania

Jak policzyć wynik skali, gdy osoba pominęła jedną pozycję?

Policz średnią z udzielonych odpowiedzi (po odwróceniu pozycji odwróconych) i, jeśli potrzebujesz sumy, pomnóż ją przez liczbę wszystkich pozycji. Przy 9 odpowiedziach z 10 i sumie 38 średnia wynosi 4.22, a suma prorated 42.22. Zrób tak tylko wtedy, gdy osoba spełnia przyjętą regułę, np. co najmniej 8 z 10 odpowiedzi.

Co to jest reguła prorated w kwestionariuszu?

To zasada, według której wynik osoby z brakami liczy się ze średniej dostępnych pozycji, jeśli odpowiedziała na określony odsetek pozycji. Próg jest umowny: często 80%, ale pierwszeństwo ma reguła z podręcznika testu. Mazza i in. (2015) pokazali, że ta metoda może dawać obciążone wyniki, więc przy wielu brakach rozważ imputację.

Czy można porównać z normami wynik osoby, która pominęła kilka pozycji?

Nie, jeśli wynikiem jest suma samych udzielonych odpowiedzi, bo jest zaniżona. Porównuj z normami sumę prorated albo zastosuj regułę z podręcznika testu. Gdy osoba nie spełnia reguły, jej wynik traktuj jako brak danych.

Czy kalkulator wyniku skali zapisuje lub wysyła wpisane odpowiedzi?

Nie. Obliczenia wykonuje skrypt w Twojej przeglądarce, który niczego nie wysyła na serwer i niczego nie zapisuje. Po zamknięciu karty odpowiedzi znikają. Nie wpisuj jednak danych identyfikujących osoby badane, bo do obliczeń nie są potrzebne.

Jak odwrócić pozycję na skali, która zaczyna się od zera?

Użyj ogólnego wzoru max + min − x. Na skali 0–4 daje to 4 − x, więc 0 zmienia się w 4, a 2 zostaje dwójką. Odruchowe „5 − x” zawyżyłoby każdą odwróconą odpowiedź o 1 punkt.

Powiązane hasła

Wynik skali: średnia czy sumaKlucz odpowiedziPOMP – procent maksymalnego wynikuPozycja odwróconaRekodowanieBraki danych (MCAR, MAR, MNAR)Wynik surowySkala Likerta

Przeczytaj też

Poradnik

Jak policzyć wynik kwestionariusza

Klucz, pozycje odwrócone, podskale, reguła braków, suma czy średnia i kontrola wartości – w Excelu, SPSS, R i jamovi, z plikiem .xlsx z formułami.

Czytaj →Poradnik

Braki danych i imputacja wielokrotna w R

MCAR, MAR i MNAR, test Little’a, symulacja metod i imputacja wielokrotna w R krok po kroku – z kodem, regułami Rubina i gotowym opisem APA.

Czytaj →Poradnik

Kalkulator przedziału ufności

Średnia (t), proporcja (Wilson i Wald), korelacja (Fisher) i różnica średnich (Welch): kalkulator online, wzory, przykład w R i zapis APA.

Czytaj →

Liczysz wyniki kwestionariuszy do pracy i boisz się błędu w kluczu?

Sprawdzimy klucz, pozycje odwrócone i reguły braków, policzymy wyniki dla całej bazy i wyjaśnimy decyzje tak, żebyś umiał(a) je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cohen, P., Cohen, J., Aiken, L. S., & West, S. G. (1999). The problem of units and the circumstance for POMP. Multivariate Behavioral Research, 34(3), 315–346. https://doi.org/10.1207/s15327906mbr3403_2
  2. Downey, R. G., & King, C. V. (1998). Missing data in Likert ratings: A comparison of replacement methods. The Journal of General Psychology, 125(2), 175–191. https://doi.org/10.1080/00221309809595542
  3. Mazza, G. L., Enders, C. K., & Ruehlman, L. S. (2015). Addressing item-level missing data: A comparison of proration and full information maximum likelihood estimation. Multivariate Behavioral Research, 50(5), 504–519. https://doi.org/10.1080/00273171.2015.1068157 ● Otwarty dostęp: pełny tekst
  4. McNeish, D., & Wolf, M. G. (2020). Thinking twice about sum scores. Behavior Research Methods, 52(6), 2287–2305. https://doi.org/10.3758/s13428-020-01398-0 ● Otwarty dostęp
  5. Moeller, J. (2015). A word on standardization in longitudinal studies: Don’t. Frontiers in Psychology, 6, Article 1389. https://doi.org/10.3389/fpsyg.2015.01389 ● Otwarty dostęp
  6. Suárez-Álvarez, J., Pedrosa, I., Lozano, L. M., García-Cueto, E., Cuesta, M., & Muñiz, J. (2018). Using reversed items in Likert scales: A questionable practice. Psicothema, 2(30), 149–158. https://doi.org/10.7334/psicothema2018.33 ● Otwarty dostęp
  7. Widaman, K. F., & Revelle, W. (2023). Thinking thrice about sum scores, and then some more about measurement and analysis. Behavior Research Methods, 55(2), 788–806. https://doi.org/10.3758/s13428-022-01849-w ● Otwarty dostęp

Cytowania BibTeX

@article{cohen1999problem, author={Cohen, Patricia and Cohen, Jacob and Aiken, Leona S. and West, Stephen G.}, title={{The problem of units and the circumstance for POMP}}, journal={Multivariate Behavioral Research}, year={1999}, volume={34}, number={3}, pages={315--346}, doi={10.1207/s15327906mbr3403_2}}
@article{downey1998missing, author={Downey, Ronald G. and King, Craig V.}, title={{Missing data in Likert ratings: A comparison of replacement methods}}, journal={The Journal of General Psychology}, year={1998}, volume={125}, number={2}, pages={175--191}, doi={10.1080/00221309809595542}}
@article{mazza2015addressing, author={Mazza, Gina L. and Enders, Craig K. and Ruehlman, Linda S.}, title={{Addressing item-level missing data: A comparison of proration and full information maximum likelihood estimation}}, journal={Multivariate Behavioral Research}, year={2015}, volume={50}, number={5}, pages={504--519}, doi={10.1080/00273171.2015.1068157}}
@article{mcneish2020thinking, author={McNeish, Daniel and Wolf, Melissa Gordon}, title={{Thinking twice about sum scores}}, journal={Behavior Research Methods}, year={2020}, volume={52}, number={6}, pages={2287--2305}, doi={10.3758/s13428-020-01398-0}}
@article{moeller2015word, author={Moeller, Julia}, title={{A word on standardization in longitudinal studies: Don’t}}, journal={Frontiers in Psychology}, year={2015}, volume={6}, eid={1389}, doi={10.3389/fpsyg.2015.01389}}
@article{suarezalvarez2018using, author={Suárez-Álvarez, Javier and Pedrosa, Ignacio and Lozano, Luis M. and García-Cueto, Eduardo and Cuesta, Marcelino and Muñiz, José}, title={{Using reversed items in Likert scales: A questionable practice}}, journal={Psicothema}, year={2018}, volume={2}, number={30}, pages={149--158}, doi={10.7334/psicothema2018.33}}
@article{widaman2023thinking, author={Widaman, Keith F. and Revelle, William}, title={{Thinking thrice about sum scores, and then some more about measurement and analysis}}, journal={Behavior Research Methods}, year={2023}, volume={55}, number={2}, pages={788--806}, doi={10.3758/s13428-022-01849-w}}
R